À l’EPFL, ChatGPT ne répond qu’à 85% des questions

Disponible dès fin 2022, ChatGPT a dépassé la barre des 100 millions d’utilisateurs en moins d’un mois. Depuis, l’IA s’est progressivement imposée dans de nombreux foyers et entreprises. Cependant, jusqu’à présent, aucune étude approfondie n’a été réalisée sur l’impact potentiel des assistants IA sur les méthodes d’évaluation utilisées par les établissements d’enseignement.

Des chercheurs de l’EPFL ont donc mené une étude à grande échelle sur 50 cours de leur école. Ils font partie de neuf programmes de licence et de master en ligne et couvrent un large éventail de disciplines. « Ces données ont été rassemblées dans un format qui, selon nous, ressemblerait le plus à la manière dont les étudiants les communiqueraient », explique Antoine Bosselut, responsable du Laboratoire de traitement du langage naturel (NLP) et membre du Centre d’IA de l’Université. EPFL.

Les scientifiques ont utilisé huit stratégies d’incitation (l’art de formuler des requêtes de manière à ce que l’intelligence artificielle comprenne parfaitement ce que l’on recherche) pour produire des réponses. Ils ont constaté que GPT-4 répond correctement à 65,8 % des questions en moyenne et peut même fournir la bonne réponse dans au moins une stratégie d’incitation pour 85,1 % des questions. « Nous avons été surpris par les résultats. Personne ne s’attendait à ce que les assistants IA obtiennent un pourcentage aussi élevé de réponses correctes dans autant de cours », explique Anna Sotnikova, scientifique au NLP et co-auteur de la publication.

Les chercheurs ont ainsi démontré théoriquement la vulnérabilité des évaluations à l’usage de l’IA par les étudiants. Si ChatGPT est capable d’obtenir son diplôme d’ingénieur simplement en digérant les cours au fur et à mesure que les étudiants les reçoivent, qu’est-ce qui nous prouve qu’ils auront effectivement les compétences académiques requises ? “A court terme, il faudrait insister pour que les évaluations soient plus difficiles, non pas dans le sens de la difficulté des questions, mais dans le sens de la complexité de l’évaluation elle-même”, suggère Antoine Bosselut, dans le communiqué publié ce vendredi. .