Des petits modèles d’IA seraient plus efficaces et moins énergivores

Le laboratoire américain Merck développe par exemple un modèle avec la société BCG pour comprendre l’impact de certaines maladies sur les gènes. « Ce sera un tout petit modèle, entre quelques centaines de millions et quelques milliards de paramètres », explique Nicolas de Bellefonds, responsable de l’intelligence artificielle au BCG.

À titre de comparaison, un modèle comme GPT-3, qui sous-tendait le chatbot ChatGPT d’OpenAI lors de son lancement, comptait 175 milliards de paramètres et son successeur, GPT-4, près de 2 000 milliards.

Comme d’autres experts, Nicolas de Bellefonds constate l’émergence de petits modèles très spécialisés qui apportent “de meilleures performances ou, en tout cas, équivalentes” aux gros modèles généralistes pour “un coût bien moindre”.

Loin d’une vague européenne, les géants américains de la tech ne s’y sont pas trompés et ont tous sorti des petits modèles cette année. Google propose Gemma, Microsoft propose Phi-3 et Meta a présenté ses premiers mini-modèles en septembre, quand OpenAI a livré cet été une version miniature de GPT-4.

>> Lire : OpenAI lance son propre moteur de recherche, concurrent de Google

Des outils plus spécialisés

Synthèse et indexation de documents, recherche dans une base de données interne, ces petits modèles permettent d’effectuer des tâches simples, souvent suffisantes aux besoins d’une entreprise ou d’une administration : « Pas besoin de connaître les termes du traité de Versailles pour répondre à une question sur un élément d’ingénierie particulier”, résume à l’AFP Laurent Félix, directeur général France du cabinet Ekimetrics.

Ils sont souvent encore plus rapides que leurs grands frères et peuvent « répondre à plus de demandes et à plus d’utilisateurs simultanément », selon Laurent Daudet, patron de LightOn, start-up française spécialisée dans les petits modèles d’IA. qui vont de 8 à 40 milliards de paramètres.

L’autre avantage est que ces modèles sont moins énergivores puisque « moins de processeurs (GPU) sont nécessaires pour les mettre en œuvre », ce qui explique aussi leur prix plus attractif, ajoute-t-il. Un argument de poids alors que les géants de la tech sont confrontés au coût énergétique exponentiel de modèles de plus en plus grands. (lire l’encadré).

Fonctionnement sur téléphones et ordinateurs

Mieux encore, leur petite taille leur permet de travailler directement sur téléphone ou ordinateur : « Cela évite de devoir déployer sur le cloud. C’est une des manières de réduire l’empreinte carbone de nos modèles», avait indiqué Arthur Mensch, patron de la start-up Mistral AI, à Libération en octobre. La pépite française du secteur a lancé à l’automne son plus petit modèle en date, Ministral.

L’utilisation directe sur un appareil promet aussi plus de « sécurité et confidentialité des données », rappelle Laurent Félix, puisqu’elles restent stockées localement ou au niveau de l’entreprise.

Dans le futur, il y aura potentiellement plusieurs modèles qui communiqueront entre eux

A terme, tous nos objets du quotidien, même notre frigo, pourraient se retrouver avec une petite maquette embarquée, expliquait Thomas Wolf, co-fondateur de Hugging Face, en novembre sur la scène du Web Summit de Lisbonne. Cette plateforme d’IA franco-américaine en libre accès a sorti cet été sa série de petits modèles SmolLM.

Pour les spécialistes, les grands modèles de langage, qui restent les plus capables de résoudre des problèmes complexes, ne risquent cependant pas de disparaître mais de fonctionner de manière complémentaire avec les petits modèles.

Dans le futur, « il y aura potentiellement plusieurs modèles qui communiqueront entre eux », précise Nicolas de Bellefonds. “Il y aura un petit modèle qui comprendra quelle est la nature de la question posée et enverra cette information à plusieurs modèles de tailles différentes en fonction de la complexité de la question.”

« Sinon, nous nous retrouverons avec des solutions soit trop coûteuses, soit trop lentes, soit les deux », conclut-il.

AFP/SJAQ