Nvidia présente une nouvelle plateforme pour entraîner des robots dans des environnements simulés

“Le moment ChatGPT pour la robotique arrive”, a déclaré Jensen Huang, PDG de Nvidia, au CES, en dévoilant Cosmos, une plateforme qui vise à démocratiser l’intelligence artificielle physique.

Cosmos comprend un ensemble de modèles de fondation mondiale (WFM), une famille de modèles capables de générer des vidéos réalistes et sensibles à la physique à partir d’une combinaison d’entrées, telles que du texte, des images et des vidéos, ainsi que des données provenant de capteurs ou de mouvements de robots. Ces vidéos 3D permettent d’entraîner des modèles d’IA sans utiliser de données réelles. Les WFM, sous licence ouverte via l’API de Nvidia, les catalogues NGC, GitHub et Hugging Face, sont conçus pour être personnalisés en fonction des besoins spécifiques des développeurs.

Nvidia explique que les WFM peuvent non seulement générer des vidéos détaillées à partir d’invites ou d’images, mais également prédire l’évolution de la scène ainsi créée. “Les WFM sont essentiels pour les développeurs d’intelligence artificielle physique”, déclare Ming-Yu Liu, vice-président de la recherche chez Nvidia. Ils peuvent imaginer de nombreux environnements différents et simuler l’avenir, ce qui nous permet de prendre de meilleures décisions basées sur ces simulations.

La création de modèles d’environnements réels nécessite d’énormes quantités de données, difficiles et coûteuses à collecter. Les WFM permettent de générer des données synthétiques, offrant selon Nvidia un ensemble riche et varié pour améliorer le processus de formation des modèles. Les développeurs peuvent simuler et tester leurs systèmes dans un environnement contrôlé, sans les risques associés aux tests réels.

Applications dans l’industrie

Les WFM promettent de transformer les flux de travail et le développement de l’IA dans divers secteurs. Dans l’industrie automobile, par exemple, une voiture autonome peut être testée dans différentes conditions météorologiques ou dans des scénarios de circulation simulés. En robotique, les WFM peuvent être utilisés pour simuler et vérifier le comportement de systèmes robotiques dans divers environnements. Ces simulations visent à garantir que les robots effectuent leurs tâches de manière sûre et efficace avant leur déploiement.

Une autre plateforme récemment dévoilée, Genesis, vise à révolutionner la formation des robots dans les environnements virtuels. Alors que Cosmos bénéficie du vaste écosystème et de l’optimisation matérielle de NVIDIA, Genesis se distingue par son moteur physique universel et son framework développés spécifiquement pour Python.

On se souvient également que Nvidia avait été pointé du doigt pour la façon dont il entraînait ses modèles d’IA. Le fournisseur aurait utilisé pour cela une énorme quantité de vidéos YouTube et Netflix.