L’entreprise de Redmond lance un outil baptisé « Correction » censé identifier et proposer des réécritures de textes générés par l’IA. Cet outil s’appuie également sur des modèles de langage. L’outil arrive tardivement, alors que le doute s’installe chez certaines entreprises sur la confiance à accorder à l’IA générative.
Comme Microsoft l’admet désormais dans sa vidéo promotionnelle de son nouvel outil « Correction », « Les « hallucinations » de l’IA peuvent avoir un impact sur l’exactitude, la confiance des utilisateurs et la crédibilité de votre application. ».
Jusqu’à récemment, les entreprises d’IA générative diffusaient massivement ce type d’outils sans se soucier de ces conséquences. Pourtant, ces « hallucinations » – ou plutôt les erreurs dans lesquelles le système produit des textes ou des images incohérentes – sont présentes depuis le début de l’utilisation publique des grands modèles.
Des patchs pour éviter les hallucinations
Ces sociétés commencent à proposer des correctifs pour corriger les erreurs de leurs modèles. Il semble également, alors que les milieux financiers parlent de plus en plus d’une bulle de l’IA, qu’ils doivent montrer aux investisseurs que leurs systèmes peuvent être améliorés. En juin, OpenAI a annoncé son CriticGPT pour proposer des corrections aux erreurs de code générées par GPT-4. Fin juin, Google a également proposé son propre système.
Ici, avec Correction, Microsoft assure pouvoir proposer un outil capable de détecter et de réécrire le contenu incorrect généré par toute IA générative. ” Il est essentiel de donner à nos clients les moyens de comprendre et d’agir en fonction des contenus non fondés et des hallucinations, d’autant plus que la demande de fiabilité et de précision des contenus générés par l’IA continue de croître. augmenter », explique l’entreprise.
Microsoft propose cet outil aux utilisateurs de son API Azure AI Content Safety qui peuvent l’utiliser sur du texte généré par n’importe quel modèle.
Interrogé par TechCrunch, Microsoft précise que « La correction est alimentée par un nouveau processus d’utilisation de modèles de langage petits et grands pour aligner la sortie sur des documents donnés. « . L’entreprise ajoute : « Nous espérons que cette nouvelle fonctionnalité aidera les créateurs et les utilisateurs d’IA générative dans des domaines tels que la médecine, où les développeurs d’applications déterminent que la précision des réponses est d’une importance capitale. ».
Modèles pour corriger d’autres modèles
Il redirige également vers un article récemment mis en ligne par des chercheurs de Microsoft sur arXiv. Comme le note TechCrunch, « le document omet des détails essentiels, tels que les ensembles de données utilisés pour entraîner les modèles ».
Cet article propose une séquence de deux modèles de langage pour analyser la phrase générée par le modèle testé. Le premier modèle de correction, un petit modèle, classera la phrase comme une « hallucination » ou non. Si la phrase est catégorisée comme telle, un autre modèle plus large est utilisé pour générer une explication de cette catégorisation. Si ce modèle considère que la phrase générée n’est pas une « hallucination », un mécanisme de feedback affine les résultats du premier modèle.
Le système de Microsoft, qui utilise la génération augmentée par récupération (RAG), doit s’appuyer sur un ensemble de documents fournis par l’utilisateur comme « base de raisonnement ».
Les hallucinations sont intrinsèques aux modèles de langage
Interrogé par TechCrunch sur ce système, Os Keyes, doctorant à l’Université de Washington, explique que « essayer de supprimer les hallucinations de l’IA générative, c’est comme essayer de supprimer l’hydrogène de l’eau ».
Pour Mike Cook, chercheur à l’Université Queen Mary, cette correction au fil du temps et sans transparence pourrait donner une fausse impression de disparition des hallucinations. ” Microsoft, comme OpenAI et Google, ont créé cette situation problématique dans laquelle les modèles sont utilisés dans des scénarios où ils se trompent fréquemment. » explique-t-il à TechCrunch. Mais pour Mike Cook, « Microsoft répète désormais l’erreur à un niveau supérieur. Disons que cela nous fait passer de 90 % de sécurité à 99 % de sécurité. – le problème n’a jamais vraiment été dans ces 9 %. Ce sera toujours dans le 1% d’erreurs que l’on ne détecte pas encore ».
Une perte de confiance des clients
Problème pour Microsoft et ses concurrents, les « hallucinations » commencent à miner la confiance de leurs utilisateurs dans leurs nouveaux outils. Nos confrères de The Information expliquaient début septembre que certains clients de Microsoft n’utilisent plus l’IA d’Office censée les aider. Fin juillet, Business Insider rapportait qu’une entreprise de l’industrie pharmaceutique avait abandonné son accord avec Microsoft concernant Copilot au bout de six mois, car les outils proposés n’étaient pas suffisamment efficaces pour justifier l’investissement.
Interrogés par KPMG, six dirigeants technologiques britanniques sur dix affirment que les hallucinations constituent le plus gros problème lors de l’adoption d’outils d’IA générative.
Related News :