Meta, la société mère de Facebook, Instagram et WhatsApp entre autres, lance Llama3, une version amplifiée de son grand modèle de langage (LLM).
La troisième génération de Llama se compose de deux modèles. Une première, publiée aujourd’hui, comprend 8 milliards de paramètres. Un second, baptisé Llama 3 70B, contiendra soixante-dix milliards de paramètres. Ces paramètres aident à calculer dans quelle mesure un modèle d’IA peut effectuer diverses tâches telles que l’analyse et la génération de textes. Plus de paramètres signifie essentiellement qu’un modèle d’IA peut effectuer plus de tâches.
Llama 3 8B et 70B ont été formés sur des clusters de 24 000 GPU construits par Meta. Cependant, selon le géant de la technologie, ce sont les modèles d’IA les plus efficaces du marché aujourd’hui. Les nouveaux modèles seraient plus faciles à utiliser et offriraient une plus grande précision dans les réponses apportées aux questions sur l’histoire et la science, par exemple.
Base de données
Cela irait de pair avec un ensemble de données plus vaste de 15 000 milliards de jetons ou de points de données. Meta ne souhaite pas dévoiler d’où proviennent toutes ces données, mais il semblerait qu’elles proviennent principalement de sources anglophones. Le modèle sera désormais utilisé, entre autres, pour un assistant IA dans WhatsApp et Instagram, mais donc uniquement en anglais. Pour le moment, cet assistant IA n’est pas encore disponible dans notre pays.
