Les modèles d’intelligence artificielle (IA) générative sont-ils dans une impasse ? Depuis le lancement de ChatGPT il y a deux ans, les progrès technologiques exponentiels nous ont donné l’espoir de l’avènement de machines dotées d’une intelligence quasi humaine. Mais les doutes s’accumulent.
Imago
Les leaders du secteur promettent des gains de performances si importants et si rapides qu’une « intelligence générale artificielle », selon les termes du patron d’OpenAI (ChatGPT), Sam Altman, devrait bientôt émerger.
Ils fondent cette conviction sur des lois de passage à l’échelle : il suffirait d’alimenter les modèles avec toujours plus de données et de puissance de calcul informatique pour qu’ils gagnent en capacité.
Cette stratégie a si bien fonctionné jusqu’à présent que de nombreux acteurs de l’industrie craignaient qu’elle aille trop vite et que l’humanité se retrouve dépassée.
Microsoft (le principal investisseur d’OpenAI), Google, Amazon, Meta et d’autres ont dépensé des milliards de dollars et lancé des outils qui produisent facilement du texte, des images et des vidéos d’une qualité époustouflante, et font désormais parler d’eux. ‘oral.
xAI, la société d’IA d’Elon Musk, lève 6 milliards de dollars, selon CNBC, pour acheter 100 000 puces Nvidia, les composants électroniques de pointe qui alimentent les grands modèles.
OpenAI a conclu début octobre une importante levée de fonds de 6,6 milliards de dollars, qui la valorise à 157 milliards de dollars.
« Les valorisations élevées reposent en grande partie sur l’idée que les modèles linguistiques deviendront, grâce à leur expansion continue, des IA générales », a déclaré Gary Marcus, un expert souvent critique du secteur. “Comme je l’ai toujours dit, ce n’est qu’un fantasme.”
Limites
La presse américaine rapportait récemment que les nouveaux modèles en développement semblent avoir atteint des plateaux, notamment chez Google, Anthropic (Claude) et OpenAI.
“Nous augmentons (la puissance de calcul) au même rythme, mais nous n’en obtenons pas d’améliorations intelligentes”, Ben Horowitz, co-fondateur d’a16z, une société de capital-risque actionnaire d’OpenAI et investisseur dans des entreprises. , a déclaré récemment. concurrents, dont Mistral.
Orion, le dernier né d’OpenAI, pas encore public, surpasse ses prédécesseurs. Mais « l’augmentation de la qualité a été bien moindre par rapport au saut entre le GPT-3 et le GPT-4 », les deux derniers modèles phares de l’entreprise, selon des sources citées par The Information.
Plusieurs experts interrogés par l’AFP estiment que les lois d’échelle ont atteint leurs limites.
“Certains laboratoires se sont trop concentrés sur l’ajout de texte, pensant que la machine deviendrait de plus en plus intelligente”, souligne Scott Stevenson, patron de Spellbook, une société spécialisée dans l’IA juridique générative. .
Grâce à un entraînement basé sur des montagnes de données collectées en ligne, les modèles parviennent à prédire, de manière très convaincante, des séquences de mots ou des dispositions de pixels. Mais les entreprises commencent à manquer de nouveaux matériaux pour les alimenter.
Et ce n’est pas qu’une question de connaissance : pour progresser, il faudrait avant tout que les machines parviennent tant bien que mal à comprendre le sens de leurs phrases ou de leurs images.
IA « bébé »
Les patrons du secteur contestent l’idée d’un ralentissement.
“Si l’on regarde le rythme auquel les capacités augmentent, on peut penser que nous arriverons (à l’IA généralisée) d’ici 2026 ou 2027”, a assuré Dario Amodei, le patron d’Anthropic, sur le podcast de l’informaticien Lex Friedman.
“Il n’y a pas d’impasse”, écrivait jeudi Sam Altman sur X. OpenAI a néanmoins retardé la sortie du successeur de GPT-4.
Et, en septembre, la start-up star de la Silicon Valley a opéré un changement de stratégie en présentant o1, un modèle censé répondre à des questions plus complexes, notamment mathématiques, grâce à une formation s’appuyant moins sur l’accumulation de données que sur le renforcement des données. sa capacité à raisonner.
Selon Scott Stevenson, o1 « passe plus de temps à réfléchir qu’à réagir », conduisant à des « améliorations radicales ».
Il compare l’évolution de la technologie à la découverte du feu : plutôt que d’ajouter du carburant sous forme de données et de puissance de calcul, il est temps de développer l’équivalent d’une lanterne ou d’une machine à vapeur. Comme des agents IA auxquels les humains pourront déléguer des tâches en ligne.
“Le bébé de l’IA était un chatbot qui faisait beaucoup d’improvisation” et donc beaucoup d’erreurs, ajoute Walter De Brouwer, professeur à l’université de Stanford. “L’approche homo sapiens consistant à réfléchir avant de se lancer est là.”
ATS
