Ceux qui prétendent qu’avec le temps, ChatGPT et ses semblables écriront moins de mensonges n’ont intérêt qu’à être patients : les tests les plus récents révèlent qu’avec deux méthodes « d’apprentissage » différentes, ces « agents conversationnels » font encore plus d’erreurs qu’avant lorsqu’on leur pose des questions simples. .
Les deux méthodes en question sont, dans le monde des développeurs d’IA, de « former » ces « robots » avec plus de données et plus de puissance de calcul, ou de les amener à « s’adapter » (réglage fin) en réponse aux commentaires humains.
Cependant, une équipe de l’Université Polytechnique de Valence, en Espagne, a testé les deux méthodes sur ChatGPT de la société OpenAI, LLaMA de la société Meta et BLOOM de la société BigScience. Le résultat : ces « modèles de langage larges », comme on les appelle, deviennent plus efficaces pour répondre à des questions complexes, comme résoudre une longue anagramme. Mais ils sont moins doués pour des questions aussi simples que l’addition.
L’étude a été publiée le 25 septembre dans la revue Naturesous le titre clair Les modèles de langage plus grands et plus instructables deviennent moins fiables.
La conséquence est qu’avec l’une ou l’autre des deux méthodes d’apprentissage, la « capacité » de ces robots à dire des mensonges augmente. Et il va sans dire que les machines ne s’en rendent pas compte, la preuve en étant qu’elles ne sont pas capables d’éviter de répondre à une question dont elles ne connaissent pas la réponse. Ils ne sont pas non plus capables d’envoyer à l’humain qui leur a posé une question un avertissement du type « attention, j’ai peut-être fait une erreur ».
Autrement dit, l’humilité ne fait pas partie de leur programmation.
C’est ce même constat qui a conduit en début d’année un trio de chercheurs en philosophie et en sciences sociales à proposer le terme « bullshit » (conneries, conneries ou bêtises) pour désigner la propension de ces IA à dire n’importe quoi (les développeurs d’IA utilisent plutôt le terme « hallucinations », critiquée car elle tend trop à « humaniser » la machine).
Les humains seraient donc bien avisés, préviennent les chercheurs espagnols, de ne pas se fier aux réponses de l’IA, aussi impressionnantes soient-elles. Dans l’immédiat, l’IA semble vouée à continuer de produire des mensonges, et les experts n’ont aucune solution en vue.
