⇧ [VIDÉO] Vous pourriez également aimer ce contenu partenaire
Les modèles de langage les plus avancés à ce jour, comme le GPT-4 d’OpenAI, deviennent si performants qu’il est désormais difficile de les distinguer par écrit. GPT-4 a notamment obtenu un score de 54% (succès) lors d’un récent test où il devait se faire passer pour un humain lors d’une conversation de cinq minutes (le test de Turing). Cependant, l’évolution rapide de ces systèmes semble devenir très problématique pour le domaine éducatif. C’est ce que vient de prouver une expérience menée par des chercheurs de l’université de Reading visant à infiltrer secrètement les examens universitaires pour les faire administrer par une IA.
Pendant la pandémie de COVID-19, de nombreuses universités du monde entier sont passées des examens supervisés sur site à des sessions d’examens à domicile non supervisées. Aujourd’hui, même si le confinement n’est plus en vigueur, cette pratique perdure et c’est ce qui inquiète les enseignants et les chercheurs.
En effet, les outils d’IA devenant de plus en plus puissants et accessibles, les étudiants peuvent facilement tricher en soumettant des travaux générés entièrement ou en grande partie par eux. D’autant que la situation est devenue de plus en plus compliquée avec la baisse de fiabilité des outils de détection de texte basés sur l’IA, devenus la plupart du temps inefficaces.
Un test en situation réelle
Pour mesurer l’ampleur du problème dans le secteur de l’éducation, notamment au sein des universités et des collèges, les chercheurs ont réalisé un « test d’infiltration ». Avec ses collègues, Peter Scarfe, professeur et chercheur à l’université de Reading, a joué avec les correcteurs d’examens de l’établissement pour voir s’ils seraient capables de distinguer les réponses générées par une IA de celles rédigées par de vrais étudiants. Pour ce faire, ils ont participé à un examen de psychologie au sein de leur établissement et ont fourni des réponses entièrement produites par GPT-4 (le modèle de langage le plus puissant d’OpenAI) sous 33 faux noms d’étudiants.
« De nombreux établissements se sont éloignés des examens traditionnels pour rendre l’évaluation plus inclusive. Nos recherches montrent que comprendre comment l’IA affectera l’intégrité des évaluations pédagogiques est d’une importance internationale “, a déclaré Scarfe. Cette étude en aveugle, visant à mettre au défi les éducateurs humains de détecter le contenu généré par l’IA, est la plus grande du genre menée à ce jour.
Des résultats clairs
Les résultats de l’étude, publiés dans la revue PLOS
UN le 26 juin, sont définitifs. 94 % des réponses générées par Chat GPT, soumises pour plusieurs modules de psychologie de premier cycle, n’ont pas été démasquées (comme provenant d’une IA). Plus surprenant encore, dans 83,4 % des cas, les soumissions d’IA ont reçu des notes plus élevées que celles des étudiants (sélectionnés au hasard). Cependant, Scarfe et son équipe ne pouvaient pas exclure le fait que ces étudiants auraient également pu utiliser l’IA pour répondre aux questions.
Voir aussi
Ces résultats mettent ainsi en évidence deux problèmes majeurs. D’une part, il y a une forte probabilité que les étudiants utilisent l’IA pour tricher sans que cela soit détecté. D’un autre côté, ils peuvent obtenir de meilleures notes que d’autres qui n’auraient pas triché. ” La publication de ce test d’assurance qualité dans le monde réel démontre clairement que les outils d’IA générative disponibles librement et ouvertement permettent aux étudiants de tricher facilement aux examens à domicile pour obtenir de meilleures notes, alors que la tricherie est indétectable. “, a déclaré Karen Yeung, professeur à l’Université de Birmingham spécialisée en droit, éthique et informatique.
Pour résoudre efficacement ces problèmes, Scarfe suggère de revenir simplement aux examens supervisés en personne. La professeure Elizabeth McCrum, vice-chancelière chargée de l’éducation et de l’expérience étudiante à l’université de Reading, n’est pas d’accord. Elle a déclaré : Il est clair que l’IA aura un effet transformateur dans de nombreux aspects de nos vies, notamment dans la manière dont nous enseignons aux étudiants et évaluons leur apprentissage. Toutefois, les solutions consistent à s’éloigner des idées dépassées en matière d’évaluation et à se tourner vers des idées plus pertinentes par rapport aux compétences dont les étudiants auront besoin sur le lieu de travail, notamment en utilisant l’IA. « , conclut McCrum.
