C’est l’une des bibles de l’intelligence artificielle. Chaque année depuis 2015, l’Institute for Human-Centered Artificial Intelligence de Stanford analyse les grandes tendances de l’intelligence artificielle. La dernière édition constate une véritable explosion du secteur – en termes de nombre de modèles publiés (149 modèles de fondation en 2023, le double de celui de 2022), de performances, mais aussi de coûts… Le rapport fait une estimation inédite des coûts de formation, une information rare dans le secteur. Cette course effrénée à la performance fait naître de nouveaux défis : une éventuelle pénurie de données et des difficultés à évaluer correctement les modèles.
Il nous manque une évaluation standardisée des modèles, notamment sur les risques
Les performances des modèles croissent si vite que les benchmarks qui permettent de les mesurer deviennent vite obsolètes, souligne l’AI Index, publié le 15 avril par l’université de Stanford. Les modèles parviennent à surpasser les humains sur les quelques tâches que mesurent les systèmes d’évaluation les plus courants, comme la classification d’images ou la compréhension de textes, mais ils continuent d’échouer dans certaines tâches plus complexes – mathématiques de haut niveau, organisation – moins bien mesurées par les benchmarks. Il y a dix ans, les benchmarks étaient utilisés pendant au moins cinq à dix ans. Aujourd’hui, ils ne sont plus pertinents au bout de quelques années, explique le rédacteur en chef du rapport, Nestor Maslej, à Nature.
La Chatbot Arena, arbitre officieux de la course à l’intelligence artificielle
L’AI Index note également que des benchmarks permettant d’évaluer les garde-fous mis en place par les modèles sont de plus en plus utilisés. Deux sont particulièrement populaires : TruthfulQA, qui mesure le niveau de confiance que l’on peut accorder aux réponses de l’IA, et RealToxicityPrompts, qui se concentre sur la propension des modèles à produire du contenu toxique. Le problème est que ces évaluations manquent de standardisation. Chacun juge son modèle à sa manière. « L’absence d’évaluation standardisée rend extrêmement difficile la comparaison systématique des limites et des risques des différents modèles d’IA. » résume Nestor Maslej dans le New York Times.
L’IA coûte de plus en plus cher
Les performances atteignent de nouveaux sommets… tout comme les dépenses. GPT-4, le grand modèle de langage qui alimente ChatGPT publié en mars 2023 par la société OpenAI, aurait nécessité un investissement de 78 millions de dollars. Le chatbot Gemini Ultra de Google, lancé quelques mois plus tard, en décembre 2023, aurait coûté 191 millions de dollars. Celui de Meta, Llama 2 – plus petit par la taille que ses concurrents – n’aurait nécessité « que » 3,9 millions de dollars. A titre de comparaison, les premiers « Transformers » (le nom donné à ces gros modèles), qui datent de 2017, n’auraient demandé que 900 $ pour sa formation. Il s’agit d’une information importante de ce rapport, car les données concernant les coûts de formation restent très rares.
Pour réaliser ces estimations, Stanford s’est associé à Epoch AI, un institut de recherche. Cette augmentation s’explique par le nombre croissant de données qu’ils doivent traiter et donc la puissance de calcul nécessaire.
Course à l’IA : OpenAI est-il vraiment rattrapé par la concurrence ?
La montée en flèche du coût financier s’accompagne d’une augmentation de la consommation d’énergie de ces systèmes, ainsi que de la quantité d’eau nécessaire pour refroidir les centres de données qui contribuent à leur fonctionnement, souligne également AI Index. « Ces systèmes sont impressionnants, mais ils sont aussi très inefficaces »explique Nestor Maslej à Nature.
Pour supporter ces coûts faramineux, le rapport note une forte augmentation des investissements privés dans l’IA générative (dans l’IA en général, ils ont tendance à diminuer). Les investisseurs ont dépensé 25,2 milliards de dollars en 2023 dans ce domaine, soit près de 8 fois plus qu’en 2022.
A noter toutefois que cette tendance pourrait s’inverser dans les années à venir. Quelques Les spécialistes s’accordent sur le fait que les entreprises se tourneront de plus en plus vers l’utilisation de petits modèles d’IA, plus spécialisés et moins chers, qui ne seront que des variantes de très grands modèles comme GPT-4 et Claude-3. .
Nous risquons bientôt de manquer de données
La grande pénurie de données : c’est une préoccupation croissante dans le monde de l’IA. Les meilleurs modèles à ce jour ont été formés sur la quasi-totalité du Web, et ces données ne sont pas évolutives à l’infini. Epoch Institute estime que d’ici 2026, les chercheurs pourraient manquer de données textuelles de haute qualité et, d’ici deux décennies, de données de mauvaise qualité. Le rapport porte un regard particulier sur cette question.
L’une des solutions à ce problème s’appelle les « données synthétiques », des textes et des images créés par l’IA elle-même, qui servent de base de formation. Une forme de cannibalisme numérique, en d’autres termes. Sauf que cette méthode n’est pas entièrement satisfaisante. Plusieurs études ont montré que les modèles formés sur des données synthétiques ont tendance à restreindre leur portée.
Les États-Unis créent davantage de modèles et la Chine dépose le plus de brevets
Si des doutes subsistent quant à l’avance des États-Unis, le rapport de Stanford souligne à quel point leur domination est écrasante. Le pays est à l’origine de 51 modèles « notables ». Par ce terme, les auteurs désignent des modèles qui ont une influence dans l’écosystème de l’IA, comme GPT-4 ou Claude d’Anthropic. L’Union européenne est loin derrière avec 21 de ces modèles, dont 8 en France, et la Chine en troisième position (15). En revanche, la Chine est le pays qui dépose le plus de brevets : 61,1% du nombre total en 2022, loin devant les Etats-Unis (20,9%).
Par ailleurs, le rapport souligne que le secteur privé est principalement à l’origine de nouveaux modèles, bien plus que la recherche universitaire. Ce qui n’était pas le cas il y a quelques années. Cette nouvelle tendance s’explique par l’architecture des nouveaux modèles qui nécessitent beaucoup de données et de puissance de calcul, dont disposent les grandes entreprises. Google est l’entreprise qui a sorti le plus de modèles en 2023, suivi de Meta (11) et Microsoft (9).
« Les géants de l’intelligence artificielle s’intéressent moins aux préjugés sexistes et racistes que à la course à la performance » (Margaret Mitchell, Hugging Face)
L’open Source gagne du terrain
Près des deux tiers des nouveaux modèles de fondation (grands modèles de langage comme Mistral Large ou Llama 2) sont désormais accessibles gratuitement. N’importe qui peut accéder aux codes du programme et les utiliser.
La part de l’open Source augmente de 38 % par rapport à 2022, observe l’AI Index. Notez cependant que ce n’est pas le cas du modèle de fondation le plus utilisé : GPT-4 et sa version précédente GPT-3.5, le moteur ChatGPT.
« Nos modèles d’IA feront encore un bond en avant en termes de performances cette année » (Tom Brown, co-fondateur d’Anthropic)
L’IA explose dans la recherche scientifique
Pour la première fois, l’université de Stanford a décidé de consacrer un chapitre entier de son rapport à l’utilisation de l’intelligence artificielle en science et en médecine. « En 2022, l’IA a commencé à faire progresser la découverte scientifique. Mais au cours de l’année 2023, ces avancées ont été encore plus significatives »écrivent les auteurs.
L’AI Index répertorie quelques modèles clés sortis en 2023 : GNoME, qui facilite le processus de découverte de matériaux, GraphCast, qui prédit plus précisément les phénomènes météorologiques, ou encore SynthSR, qui convertit les scanners cérébraux en images haute résolution.
