L’étude a également révélé que les gens ont tendance à accepter trop rapidement les réponses incorrectes des robots. Cette crédulité face aux bots est-elle un danger pour nous selon vous ?
Tl;dr
- Les chercheurs ont observé que les chatbots avancés répondent souvent de manière incorrecte plutôt que de dire « Je ne sais pas ».
- L’équipe a étudié trois familles de modèles de langage machine, notamment GPT d’OpenAI, LLaMA de Meta et BLOOM open Source.
- Les résultats ont montré une augmentation des réponses incorrectes à mesure que les modèles évoluaient.
- Les chercheurs recommandent d’améliorer les performances des chatbots pour les questions faciles et de programmer leur refus de répondre à des questions complexes.
Chatbots avancés : une tendance à la désinformation
Les progrès de l’intelligence artificielle ont permis de créer des chatbots de plus en plus performants. Cependant, une étude récente met en évidence une tendance inquiétante : ces IA avancée sont de plus en plus enclins à donner des réponses incorrectes plutôt qu’à admettre leur ignorance.
Une étude de trois familles de modèles de langage
Dirigée par José Hernández-Orallo, professeur à l’Universitat Politecnica de Valencia, l’étude s’est concentrée sur trois familles de modèles de langage automatiques : GPT d’OpenAI, LLaMA de Meta et BLOOM open Source. Les chercheurs ont testé des versions antérieures et plus avancées de chaque modèle, à l’exception des plus récentes.
Les modèles ont été soumis à des milliers de questions couvrant divers domaines comme « Arithmétique, anagrammes, géographie et sciences ». L’équipe a également testé leur capacité à transformer des informations, par exemple en organisant une liste par ordre alphabétique.
Les mauvaises réponses se multiplient
Les données collectées ont montré que la proportion de réponses incorrectes des chatbots augmentait à mesure que les modèles évoluaient. C’est un peu comme si un professeur, à force de maîtriser de plus en plus de matières, commençait à croire qu’il a toutes les réponses.
De plus, les volontaires chargés d’évaluer l’exactitude des réponses de l’IA ont souvent classé à tort les réponses inexactes comme exactes. Le taux d’erreurs faussement perçues comme correctes variait généralement entre 10 et 40 %.
Recommandations pour améliorer la fiabilité des chatbots
Face à ces constats, les chercheurs recommandent de concentrer les efforts sur l’amélioration des performances des chatbots pour des questions simples et sur la programmation de leur refus de répondre à des questions plus complexes. Ils estiment que les utilisateurs doivent comprendre dans quels domaines ils peuvent utiliser ces outils et dans lesquels ils ne doivent pas le faire.
Il est important de noter que ces recommandations pourraient être difficiles à accepter par les entreprises d’IA, car un chatbot qui dit souvent « je ne sais pas » pourrait être perçu comme moins avancé ou moins précieux, ce qui pourrait entraîner une diminution de son utilisation et donc des revenus pour les entreprises qui les produisent et les vendent.
En attendant, c’est à nous, utilisateurs, de vérifier l’exactitude des réponses de nos chatbots pour éviter de croire et de diffuser des informations erronées qui pourraient nous nuire ou nuire à autrui.
