Les étudiants du Texas seront parmi les premiers à voir les examens mandatés par l’État notés par une plateforme basée sur l’IA. La partie écrite de l’examen State of Texas Assessments of Academic Readiness (STAAR), qui évalue les niveaux de compétence en lecture, en écriture, en sciences et en études sociales, sera notée à l’aide d’un « moteur de notation automatisé ».
L’examen a été repensé en 2023. L’examen révisé comporte désormais moins de questions à choix multiples et davantage de questions ouvertes, appelées questions à réponse construite. Les nouveaux tests comportent jusqu’à sept fois plus de questions ouvertes qu’auparavant.
Selon le Texas Tribune, l’approche de traitement du langage naturel pourrait permettre à l’État d’économiser plus de 20 millions de dollars par an, argent qui autrement aurait été dépensé en embauchant des évaluateurs humains auprès d’un entrepreneur tiers.
Jose Rios, directeur de l’évaluation des élèves à la Texas Education Agency (TEA), a déclaré qu’ils voulaient garder autant de réponses ouvertes que possible, mais qu’il leur fallait beaucoup de temps pour les noter.
Les machines ne remplacent pas entièrement les correcteurs humains, du moins pas encore. L’année dernière, la TEA a embauché environ 6 000 correcteurs humains temporaires. Cette année, il en faudra moins de 2 000.
Un quart de toutes les réponses construites initialement notées par l’IA seront réévaluées par des humains, tout comme les tests pour lesquels l’ordinateur n’est pas sûr de son score. Les réponses rédigées dans une langue autre que l’anglais et celles contenant des mots d’argot seront également transmises par des évaluateurs humains.
Le moteur de notation automatique a été formé sur 3 000 réponses qui ont d’abord été soumises à deux séries de notation humaine. Les échantillons ont permis à l’IA d’évaluer les caractéristiques communes des réponses et lui ont appris à donner le même score qu’un humain.
Chris Rozunick, directeur de division pour le développement de l’évaluation chez TEA, a déclaré qu’ils ont toujours eu des processus de contrôle qualité très robustes avec les humains, et c’est la même chose avec un système informatique. Ne l’appelez pas « IA ».
“On est très loin de tout ce qui est autonome ou qui pense par lui-même», a déclaré M. Rozunick. Par exemple, la solution de scoring ne «apprendre» pas d’une réponse à l’autre ; elle se réfère toujours à sa formation initiale comme référence.
Source : “Le Texas utilisera des ordinateurs pour noter les réponses écrites aux tests STAAR de ces années” (The Texas Tribune)
Et toi ?
Quelle est votre opinion sur le sujet ?
Trouvez-vous cette application de l’IA pertinente et judicieuse ?
Voir aussi :
Les étudiants découvrent que leurs évaluations sont notées par une IA qui se base sur la présence de certains mots-clés dans leurs réponses et l’utilise pour obtenir de meilleures notes.
L’IA sonnera probablement le glas de l’enseignement traditionnel, selon un expert du secteur et comme le montre l’utilisation d’un chatbot par un professeur d’informatique à Harvard.
