Lors de sa conférence annuelle Google I/O en mai dernier, le géant a fait une myriade d’annonces sur l’IA générative. La firme a notamment dévoilé Gemma 2, la deuxième génération de sa famille de grands modèles de langage Gemma. Google a ensuite démontré les performances de son modèle, disponible en une seule version avec 27 milliards de paramètres.
Aujourd’hui, il semblerait qu’une deuxième version ait été développée puisque le géant vient de mettre à disposition des chercheurs et développeurs Gemma 2 9B et Gemma 2 27B. Et le moins que l’on puisse dire, c’est que la firme ne cache pas sa fierté : “Gemma 2 est plus efficace en matière d’inférence que la première génération, avec des avancées significatives en matière de sécurité.”
Deux versions capables de rivaliser avec celles de Llama 3
La version avec 27 milliards de paramètres s’appelle« alternative compétitive aux modèles plus de deux fois plus grands »un clin d’œil à la version Llama 3 70B de Meta. Google attribue cela à la possibilité d’exécuter ces modèles avec un seul GPU H100 Tensor Core, un A100 80 Go ou un hôte Google Cloud TPU, ce qui réduit considérablement les coûts de déploiement. Par rapport à Llama 3 70B, la version 27B obtient un score de 75,2 % au test MMLU (teste à la fois la connaissance du monde et la capacité à résoudre des problèmes) contre 79,5 % pour la version Meta. Au test de raisonnement BBH, Gemma 2 27B obtient un score de 74,9 % tandis que Llama 3 70B obtient un score de 81,3 %.
De son côté, le modèle 9B Gemma 2 offre également les meilleures performances de sa catégorie, assure Google, surpassant le Llama 3 8B et d’autres modèles ouverts dans sa catégorie de taille. Le tableau récapitulatif des tests effectués montre que la version 9B est meilleure que le Llama 3 8B sur le benchmark MMLU et GSM8K (test de résolution de problèmes mathématiques). Les deux modèles obtiennent à peu près le même score au test HellaSwag (évaluant la compréhension avancée du langage naturel et le raisonnement de bon sens dans les modèles d’IA).
Capacités d’inférence impressionnantes
Google promet avec Gemma 2 une inférence de qualité telle que le modèle pourra fonctionner sur une gamme de matériels, des ordinateurs portables de jeu aux ordinateurs de bureau haut de gamme en passant par des configurations basées sur le cloud. La firme donne comme exemple des ordinateurs équipés d’une carte graphique Nvidia RTX ou d’une GeForce RTX via Hugging Face Transformers.
Tout comme les modèles Gemma de première génération, Gemma 2 est disponible sous la licence commerciale Gemma afin que les développeurs et chercheurs puissent partager et commercialiser leurs productions. A noter qu’à partir du mois prochain, les clients de Google Cloud pourront déployer et gérer Gemma 2 sur Vertex AI.
Un modèle compact à venir
La firme entend continuer à développer cette famille de modèles et indique qu’une « prochain modèle Gemma 2 à 2,6 milliards de paramètres, conçu pour combler le fossé entre un prix abordable et des performances puissantes » sera bientôt publié. Cette version a été entraînée sur 2 000 milliards de tokens, détaille la firme dans un rapport technique dédié. A titre de comparaison, les versions Gemma 2 27B et 9B ont été respectivement entraînées sur 13 mille milliards de tokens de données principalement anglaises et sur 8 mille milliards de tokens.
Clarification importante : ces jetons proviennent de diverses sources de données, notamment des documents Web, du code et des articles scientifiques. Ce ne sont pas des modèles multimodaux et ils ne sont pas spécifiquement formés aux capacités multilingues de pointe.
Choisi pour toi
