«Quand nous mettrons le pied sur l’accélérateur, nous serons difficiles à égaler» (Joelle Pineau, directrice de la recherche en IA chez Meta)

LA TRIBUNE- La course à l’intelligence artificielle arrive à un tournant. Au cours de l’année écoulée, GPT-4, le meilleur modèle d’OpenAI, a dominé les classements de performances sans égal. Mais ces derniers mois, Anthropic, Mistral ou encore Google ont présenté des modèles majeurs capables de l’égaler, voire de le surpasser. Désormais, tous les regards sont tournés vers vous. Plus tôt cette semaine, Nick Clegg, directeur des affaires publiques de Meta, a annoncé que Llama 3, la nouvelle version du LLM de votre famille, serait déployé ” dans le mois « . Pensez-vous qu’il puisse rivaliser avec les meilleurs modèles ?

JOELLE PINEAU- Absolument ! Nous suivons de près les des repères, qui nous permettent de nous comparer à la concurrence, et nous entendons bien y réussir. Mais certaines contraintes que nous nous imposons, par exemple sur les données que nous utilisons pour entraîner les modèles, pourraient nous empêcher d’arriver en tête de certains classements. En d’autres termes, nous savons exactement ce que nous devons faire pour arriver à la première place, mais cela n’est guère compatible avec nos standards du moment. D’autant que face à nous, il y a plein de petits acteurs qui n’ont pas toujours les mêmes scrupules sur le sécurité [sécurité, ndlr] intelligences artificielles.

Mais cette course n’est pas seulement une histoire de repères. Pour nous, cela se résume à trois questions : qui aura les meilleurs modèles en théorie ? Qui aura les meilleurs modèles en pratique ? Et surtout, qui réussira à capitaliser sur l’IA générative avec des produits performants ? Et je pense que nous sommes bien positionnés dans les trois domaines.

Qu’aura Llama 3 que son prédécesseur Llama 2, sorti en juillet 2023 ?

Il sera capable de comprendre un plus large éventail d’informations, y compris des images, en plus d’être utilisable dans davantage de langues. Mais la véritable avancée réside dans l’amélioration des capacités de raisonnement et de planification, avec pour effet direct de réduire le risque d’hallucinations. [des incohérences présentées comme faits par les IA, ndlr]. Attention cependant, nous ne sommes qu’au début de l’intelligence artificielle générative, et nous sommes loin de résoudre tous les problèmes de la génération précédente. Il y a encore beaucoup de travail à faire.

Meta marque son retour en grâce avec l’IA générative

Pour développer leurs revenus, la majorité de vos concurrents s’appuient sur un modèle de distribution d’API, où le client paie le modèle d’IA à l’utilisation. De votre côté, vous avez également établi des partenariats avec les principaux fournisseurs de cloud (AWS, Azure, Google Cloud, etc.) pour diffuser vos modèles Llama via API. Est-ce une partie importante de votre modèle économique pour l’IA ?

Ces partenariats nous permettent d’élargir le réseau de distribution du modèle, mais ils ne constituent pas notre priorité. Notre stratégie en intelligence artificielle est assez différente des autres : elle consiste avant tout à doter nos plateformes, Facebook, Instagram, WhatsApp, de nouvelles fonctionnalités. Notre modèle économique est là.

Pour l’instant, nous n’avons pas encore beaucoup poussé Meta AI [la plateforme d’outils d’IA du groupe, ndlr], parce que nous voulons avancer avec prudence. Mais il ne faut pas oublier que notre réseau de distribution compte plus de trois milliards de personnes. Donc, une fois que nous aurons décidé de vraiment mettre le pied sur l’accélérateur, nous serons difficiles à égaler.

« Les chercheurs veulent toujours plus de moyens »

L’année dernière, vous avez fait le choix de publier Llama en open Source, avec une licence d’exploitation qui le rend gratuit pour l’écrasante majorité des entreprises. Les performances de Llama 3 seront donc surveillées de près, car elles risquent d’imposer un nouveau plancher de performances à atteindre par les développeurs de modèles, qu’ils soient ouverts ou propriétaires. Connaissez-vous ce rôle ?

Complètement. A chaque fois que nous faisons un pas, l’écosystème tout entier s’élève avec nous. Les nombreuses personnes travaillant sur Llama 2 pourront passer à Llama 3 dès sa sortie, et cela se verra. Plus généralement, le plancher de performances imposé par les modèles open Source ne cesse de croître et la distance avec le plafond imposé par les meilleurs modèles propriétaires se réduit très rapidement. Mais l’open Source exige aussi que ce saut de performance s’accompagne de progrès du même ordre en termes de responsabilités sociales et éthiques. Les modèles que nous lancerons ne seront pas parfaits et nous devons nous assurer qu’ils ne peuvent pas entraîner de risques importants s’ils tombent entre de mauvaises mains.

En 2023, ce n’est pas votre modèle le plus puissant qui a eu le plus grand impact sur l’industrie, mais le Llama 2 7B, une version bien plus petite, moins gourmande en ressources. Certains experts comparent même l’effet de son arrivée auprès des professionnels de l’IA à celui de ChatGPT auprès du grand public. Envisagez-vous de continuer à développer ce type de petit modèle ?

Les petits modèles sont un point de passage incontournable dans le développement des grands modèles. Lorsque nous avons commencé à travailler sur Llama 3 par exemple, nous avons testé toutes sortes d’innovations sorties de nos laboratoires sur des petits modèles. Ensuite, nous avons étendu ce qui semblait fonctionner le mieux, car nous n’avions pas les ressources nécessaires pour tout tester, jusqu’à ce que nous obtenions le grand modèle final dont nous allons conserver une seule version. Ce qui est drôle, comme vous l’avez souligné, c’est que les modèles plus petits sont souvent plus populaires parmi les chercheurs car ils permettent d’expérimenter beaucoup plus rapidement.

« Nos modèles d’IA feront encore un bond en avant en termes de performances cette année » (Tom Brown, co-fondateur d’Anthropic)

Mark Zuckerberg a lui-même annoncé que Meta serait équipé d’ici la fin de l’année de l’équivalent de 650 000 H100, le processeur incontournable de Nvidia. Vous devenez, en effet, l’une des entreprises les mieux équipées en GPU [nom des processeurs de Nvidia, ndlr] dans le monde. Qu’est-ce que cette nouvelle situation change pour vous ?

Nous manquons toujours de GPU [rires] ! Plus sérieusement, les chercheurs en veulent toujours plus. L’année 2023 a été particulièrement difficile sur ce point car nous avons soudainement accéléré nos efforts : nous avons créé l’équipe GenAI [dédiée à l’IA générative, ndlr]en plus des laboratoires de la Foire [Fundamental AI Research, ndlr] déjà en place, et les équipes produits ont également commencé à travailler beaucoup plus sur l’IA. Nous avons donc traversé une période où nos ressources étaient particulièrement limitées par rapport à nos besoins, et nous avions besoin de ces GPU supplémentaires. Le seul problème à l’heure actuelle est qu’il faut environ deux ans pour construire des centres de données. Nous commençons donc tout juste à sortir de l’impasse. Le développement de Llama 3 n’a donc pas pleinement profité de ces nouvelles capacités informatiques.

Concrètement, à quoi servent ces GPU dans le travail quotidien de vos équipes ?

À dces choses : faites plus de tests sur modèles et faites des tests à plus grande échelle. La difficulté est de trouver l’équilibre entre ces deux efforts. Si nous faisons trop de petits essais, nous progresserons lentement, car certains comportements du modèle ne peuvent être observés qu’à grande échelle. À l’inverse, si nous commençons à entraîner un grand modèle sans effectuer suffisamment de tests au préalable, nous risquons de nous retrouver avec des résultats décevants.

Et la guerre des talents ? Durant les années 2010, Meta et Google étaient les références incontournables de l’écosystème de l’intelligence artificielle. Aujourd’hui plusieurs startups très en vue, à commencer par OpenAI, vous font concurrence…

On ressent encore la tension dans le recrutement, mais bien moins qu’il y a un ou deux ans. Je pense que notre approche Open Source attire certains chercheurs, qui viennent frapper à notre porte avant tout pour cette raison. Deuxièmement, il est toujours surprenant de voir à quel point les chercheurs suivent de près les GPU. Il faut dire que sans une puissance de calcul suffisante, ils risquent de ne pas pouvoir tester leurs idées. Alors ils s’adressent aux entreprises comme nous, qui leur offrent le plus de ressources. Enfin, la rémunération joue toujours un rôle important, d’autant que les grandes startups ont désormais les moyens de s’aligner financièrement.

Si vous avez choisi d’ouvrir Llama et plus généralement une majorité de vos modèles, vous avez décidé de garder certains secrets de votre modèle de génération d’images, Emu. Pour quoi ?

Nous essayons d’ouvrir tous nos modèles, mais il faut surtout pouvoir le faire sans risque. Si nous partageons un modèle mal calibré, nous mettons en danger l’ensemble de l’entreprise, et le jeu n’en vaut pas la peine. C’est pourquoi notre décision d’ouverture de modèles se fait au cas par cas.

Dans le cas d’Emu, la possibilité de créer de fausses images pose des problèmes très particuliers. Même s’ils évoluent rapidement, les protocoles de filigrane pour étiqueter les images générées par l’IA ne sont pas encore prêtes. Peut-être que nous changerons de position à l’avenir, mais c’est trop risqué pour l’instant, d’autant plus que 2024 est une grande année électorale dans le monde. Alors, plutôt que d’ajouter une bûche sur le feu, nous avons décidé d’attendre et d’observer les premiers effets de la technologie sur les élections. Il est important de rappeler qu’une fois qu’un modèle est publié en open Source, il ne peut plus être retiré.

Si vous reconnaissez un risque, vous avez même utilisé Emu pour alimenter Imagine, votre générateur d’images…

Sur Imagine, nous pouvons garantir l’intégrité des garde-corps du modèle, même s’ils pourraient potentiellement être supprimés par les utilisateurs si nous le publions en open Source. De plus, nous pouvons appliquer autant de filtres supplémentaires que nous le souhaitons, puisque nous avons un contrôle direct sur le produit. Par exemple, nous pouvons garantir que l’outil ne génère pas d’images de personnalités publiques qui pourraient déclencher des conflits autour du droit à l’image.

Malgré ces précautions, Imagine rencontre quelques problèmes. Au début du mois, un journaliste de Le bord remarqué que tous les humains générés étaient asiatiques. Puis, pendant une courte période, probablement le temps que le bug soit corrigé, il a été impossible de générer des Asiatiques. Même si le problème n’a pas atteint les mêmes sommets que celui du Gemini de Google, il a révélé un véritable écueil.

Notre cadre d’évaluation des risques est divisé en trois catégories. Le premier concerne les problèmes ayant des implications criminelles, par exemple si notre système permettait la production de pornographie juvénile. La deuxième catégorie prend en compte les risques directs pour la société, comme la désinformation ou la déstabilisation politique. Enfin, la troisième catégorie aborde notamment la représentation des minorités. Un échec dans ce domaine n’est pas illégal et ne risque pas de détruire nos démocraties, même s’il s’agit d’un véritable enjeu social. La réponse aux problèmes de représentation est rarement binaire, et il n’est pas toujours facile de savoir comment s’y prendre. Mais il est certain que si l’on laisse les modèles se débrouiller seuls, ils vont renforcer les stéréotypes et les inégalités, c’est pourquoi nous les surveillons de près. CoMême comme nous l’avons dit lors du lancement de l’outil, nous n’en sommes encore qu’aux premiers stades de l’IA générative, et c’est une technologie qui n’est pas toujours parfaite. C’est pourquoi nous améliorons et ajustons constamment nos modèles.