De plus en plus, les intelligences artificielles (IA) battent les humains dans divers tests, qu’il s’agisse d’examens académiques ou de batteries de tests conçus spécifiquement pour évaluer les performances des IA. L’arrivée du nouveau modèle de langage o1 d’OpenAI bouleverse encore davantage ces tests, puisqu’il est désormais capable de raisonnements plus complexes.
Pour tenter de résoudre ce problème, le démarrerdémarrer Scale AI s’est associé à Centre pour la sécurité de l’IA pour créer un test ultime qu’ils ont surnommé « le dernier test de l’humanité » (Le dernier examen de l’humanité))Ce projet vise à évaluer l’IA pour voir si elle atteint le niveau d’un expert humain.
Questions posées par le public
Le test sera composé de 1 000 questions spécialisées dans différents domaines, difficiles à répondre pour les non-experts et dont les réponses ne peuvent pas être trouvées facilement en ligne. Pour créer ces questions, ils font appel au public. Toute personne, de préférence avec cinq ans d’expérience dans un domaine technique ou titulaire d’un doctorat, est invitée à envoyer les questions auxquelles l’IA ne peut pas répondre correctement pour le moment. La bonne réponse doit être acceptée par d’autres experts du domaine, ne doit pas être subjective et la question ne doit pas contenir de piège. Certaines questions seront gardées secrètes afin de pouvoir détecter si l’IA se contente de mémoriser les réponses aux questions publiques.
Pour soumettre une question, veuillez utiliser ce formulaire en ligne avant le 1est Novembre. Les auteurs des 50 meilleures questions recevront chacun un prix de 5 000 $, et les auteurs des 500 questions suivantes recevront 500 $.
