C’est sur X que Mistral AI a choisi d’annoncer Mixtral 8x22B mercredi dernier en utilisant un https://twitter.com/mistralai/status/1777869263778291896 Torrent aimant. La jeune licorne n’a pas publié de communiqué ni consacré de blog sur son site à ce dernier modèle, on sait donc pour l’instant peu de choses sur ce nouveau modèle open Source mais les premiers benchmarks arrivent sur Hugging Face.
Mistral AI a sorti Mixtral 8x7B en décembre dernier, on peut supposer que Mixtral 8x22B est une version plus performante.
Ces 2 modèles Mixtral 8x sont basés sur une architecture Sparse Mix of Experts (SMoE) publiée sous licence Apache 2.0.
En tant que modèle uniquement décodeur, le Mixtral 8x7B utilise un bloc de rétroaction pour choisir parmi huit groupes distincts de paramètres. À chaque couche et pour chaque jeton, un réseau de routeurs sélectionne deux de ces groupes, appelés « experts », pour traiter le jeton et combine leurs résultats de manière additive.
Cette approche augmente le nombre total de paramètres du modèle tout en contrôlant le coût et la latence. Mixtral 8xB possède 46,7 milliards de paramètres au total, mais n’utilise que 12,9 milliards de paramètres par jeton, traitant les entrées et générant des sorties à la même vitesse et au même coût qu’un modèle 12,9B. Le modèle est pré-entraîné sur des données extraites du web ouvert, permettant une formation simultanée des experts et des routeurs.
L’approche a été la même pour Mixtral 8x22B dont le nombre de paramètres peut aller jusqu’à 176 milliards et la fenêtre pop-up de 65 000 tokens.
Alors que certains ont vu dans le partenariat de distribution que Mistral AI a signé avec Microsoft un abandon de l’open Source, la start-up leur prouve que ce n’est pas le cas, comme elle l’a assuré face aux critiques.
