(San Francisco) Les modèles d’intelligence artificielle (IA) générative sont-ils dans une impasse ? Depuis le lancement de ChatGPT il y a deux ans, les progrès technologiques exponentiels nous ont donné l’espoir de l’avènement de machines dotées d’une intelligence quasi humaine. Mais les doutes s’accumulent.
Glenn CHAPMAN, Julie JAMMOT
Agence France-Presse
Les leaders du secteur promettent des gains de performances si importants et si rapides qu’une « intelligence générale artificielle », selon les termes du patron d’OpenAI (ChatGPT), Sam Altman, devrait bientôt émerger.
Ils fondent cette conviction sur des lois de passage à l’échelle : il suffirait d’alimenter les modèles avec toujours plus de données et de puissance de calcul informatique pour qu’ils gagnent en capacité.
Cette stratégie a si bien fonctionné jusqu’à présent que de nombreux acteurs de l’industrie craignaient qu’elle aille trop vite et que l’humanité se retrouve dépassée.
Microsoft (principal investisseur d’OpenAI), Google, Amazon, Meta et d’autres ont dépensé des milliards de dollars et lancé des outils qui produisent facilement des textes, des images et des vidéos d’une qualité surprenante, et qui font désormais aussi parler d’eux. ‘oral.
xAI, la société d’IA d’Elon Musk, lève 6 milliards de dollars, selon CNBC, pour acheter 100 000 puces Nvidia, les composants électroniques de pointe qui alimentent les grands modèles.
OpenAI a conclu début octobre une importante levée de fonds de 6,6 milliards de dollars, qui la valorise à 157 milliards de dollars.
« Les valorisations élevées reposent en grande partie sur l’idée que les modèles linguistiques deviendront, grâce à leur expansion continue, des IA générales », a déclaré Gary Marcus, un expert souvent critique du secteur. « Comme je l’ai toujours dit, ce n’est qu’un fantasme. »
Limites
La presse américaine rapportait récemment que les nouveaux modèles en développement semblent avoir atteint des plateaux, notamment chez Google, Anthropic (Claude) et OpenAI.
« Nous augmentons [la puissance de calcul] au même rythme, mais nous n’en obtenons pas d’améliorations intelligentes », a récemment déclaré Ben Horowitz, co-fondateur d’a16z, une société de capital-risque actionnaire d’OpenAI et investisseur dans des sociétés concurrentes, dont Mistral.
Orion, le dernier né d’OpenAI, pas encore public, surpasse ses prédécesseurs. Mais « l’augmentation de la qualité a été bien moindre par rapport au saut entre le GPT-3 et le GPT-4 », les deux derniers modèles phares de l’entreprise, selon des sources citées par The Information.
Plusieurs experts interrogés par l’AFP estiment que les lois d’échelle ont atteint leurs limites.
“Certains laboratoires se sont trop concentrés sur l’ajout de texte, pensant que la machine deviendrait de plus en plus intelligente”, souligne Scott Stevenson, patron de Spellbook, une société spécialisée dans l’IA juridique générative. .
Grâce à un entraînement basé sur des montagnes de données collectées en ligne, les modèles parviennent à prédire, de manière très convaincante, des séquences de mots ou des dispositions de pixels. Mais les entreprises commencent à manquer de nouveaux matériaux pour les alimenter.
Et ce n’est pas qu’une question de connaissance : pour progresser, il faudrait avant tout que les machines parviennent tant bien que mal à comprendre le sens de leurs phrases ou de leurs images.
IA « bébé »
Les patrons du secteur contestent l’idée d’un ralentissement.
« Si l’on regarde la vitesse à laquelle les capacités augmentent, on pourrait penser que nous arriverons [à l’IA générale] d’ici 2026 ou 2027», a assuré Dario Amodei, le patron d’Anthropic, sur le podcast de l’informaticien Lex Fridman.
« Il n’y a pas d’impasse », écrivait jeudi Sam Altman sur X. OpenAI a néanmoins retardé la sortie du successeur de GPT-4.
Et, en septembre, la jeune star de la Silicon Valley a opéré un changement de stratégie en présentant o1, un modèle censé répondre à des questions plus complexes, notamment mathématiques, grâce à une formation qui repose moins sur l’accumulation de données et davantage sur le renforcement de ses capacités. raisonner.
Selon Scott Stevenson, o1 « passe plus de temps à réfléchir qu’à réagir », conduisant à des « améliorations radicales ».
Il compare l’évolution de la technologie à la découverte du feu : plutôt que d’ajouter du carburant sous forme de données et de puissance de calcul, il est temps de développer l’équivalent d’une lanterne ou d’une machine à vapeur. Comme des agents IA auxquels les humains pourront déléguer des tâches en ligne.
«Le bébé IA était un chatbot qui a fait beaucoup d’improvisation» et donc beaucoup d’erreurs, ajoute Walter De Brouwer, professeur à l’université de Stanford. « L’approche homo sapiens consistant à réfléchir avant de se lancer est en train de se concrétiser. »
