MicrosoftMicrosoft vient de lancer une nouvelle intelligence artificielle, dans une version miniaturisée. Celui-ci s’appelle Phi-3 Mini, et ne possède que 3,8 milliards de paramètres. Une bagatelle par rapport à GPT-4GPT-4 d’OpenAI et ses 1 700 milliards de paramètres, ou encore le nouveau Llama 3 de Meta, proposé dans sa version standard de 70 milliards de paramètres, ou une version réduite à 8 milliards de paramètres.
Selon Eric Boyd, vice-président de la plateforme Azure AI de Microsoft, Phi-3 Mini est aussi performant que les grands modèles de langage (LLM) comme GPT-3.5. Pour rappel, GPT-3.5 est le modèle actuellement utilisé dans la version gratuite de ChatGPT et compte 175 milliards de paramètres.
Une IA formée sur les contenus… générés par l’IA
Un petit modèle de langage (SLM) offre certains avantages, tels qu’être moins coûteux à exécuter et nécessiter un matériel beaucoup moins puissant. Phi-3 Mini a été conçu pour pouvoir fonctionner directement sur un smartphone ou un ordinateur portable, sans être connecté au web et sans avoir besoin du cloud. Cependant, l’IA aura moins de connaissances générales que les grands modèles comme le GPT-4. Phi-3 Mini peut intéresser particulièrement les entreprises souhaitant créer des chatbots ou autres applicationsapplicationsavec une IA entraînée sur leurs données internes.
Microsoft a déclaré que ce modèle avait été formé à l’aide de contenu généré par un LLM. S’inspirant de la façon dont les enfants apprennent, Microsoft a pris une liste d’environ 3 000 mots et a demandé à une autre IA de créer des livres pour enfants, qui ont été utilisés pour entraîner le Phi-3 Mini. Cette technique est assez controversée, certains n’hésitant pas à parler d’endogamie numérique. Cela pourrait créer un cercle vicieux dans lequel, en se copiant les unes les autres, les IA perdraient en qualité.
Cette nouvelle IA est disponible sur Azure, Hugging Face et Ollama. Microsoft prévoit également de sortir deux autres versions, Phi-3 Small et Phi-3 Medium, avec respectivement 7 et 14 milliards de paramètres.
