Afin d’augmenter les performances de calcul de ses GPU (les fameux TFLOPS), NVIDIA ajoute des niveaux de précision supplémentaires : 8 bits avec Hopper, 6 et 4 bits avec Blackwell. Qu’est-ce que cela implique ? Qu’en pensent les scientifiques ? Réponses croisées de Léo Hunout (IDRIS) et Stéphane Requena (GENCI).
En annonçant son nouveau GPU Blackwell (B200) qui a la lourde tâche de remplacer Hopper (H100), NVIDIA a mis en avant une débauche de TFLOPS : jusqu’à pas moins de 20 000, contre 4 000 pour la génération précédente. Comme nous l’avons détaillé, deux points sont à prendre en compte, au-delà des chiffres.
Hopper ajoute FP8, Blackwell FP6 et FP4
Tout d’abord, Blackwell est un assemblage de deux GPU sur une seule puce, ce qui n’était pas le cas de Hopper. Cela vous permet de doubler les performances à moindre coût. Ensuite, les TFLOPS sont avec une précision réduite en FP4.
Si l’on compare Blackwell et Hopper sur une base comparable (un seul GPU, en FP8), on passe de 3 958 à 5 000 TFLOPS avec le saut de génération. Le FP8 a été introduit par NVIDIA avec Hopper, et avec le succès que l’on connaît du GPU pour l’entraînement et l’inférence de l’IA générative (nous y reviendrons).
Mais Blackwell intègre deux GPU : les performances sont donc doublées, rien à redire sur ce point. Reste la question de la précision du FP4 lancé par NVIDIA. Cela correspond-il à une réalité dans le domaine de l’intelligence artificielle ? La diminution constante de la précision (FP32, FP16, Bfloat16, FP8, etc.) permet-elle d’augmenter significativement les performances ?
Nous avons posé ces questions à deux spécialistes du domaine : Léo Hunout, ingénieur spécialisé en Intelligence Artificielle à l’IDRIS (CNRS), ainsi que Stéphane Requena, directeur de l’innovation et de la technologie à la Grande Equipe Nationale de Computing Intensif (GENCI).
