Nvidia lance les modèles Ai Foundation pour les PC Rtx Ai

NVIDIA a annoncé des modèles de base fonctionnant localement sur les PC NVIDIA RTX AI qui dynamisent les humains numériques, la création de contenu, la productivité et le développement. Ces modèles proposés sous forme de microservices NVIDIA NIM sont accélérés par les nouveaux GPU GeForce RTX série 50, qui offrent jusqu’à 3 352 000 milliards d’opérations par seconde de performances d’IA et 32 ​​Go de VRAM. Construits sur l’architecture NVIDIA Blackwell, les GPU RTX 50 sont les premiers GPU grand public à prendre en charge le calcul FP4, qui double les performances d’inférence de l’IA et permet aux modèles d’IA génératifs de s’exécuter localement dans une empreinte mémoire plus petite, par rapport au matériel de la génération précédente. GeForce est depuis longtemps une plateforme essentielle pour les développeurs d’IA. Le premier réseau d’apprentissage profond accéléré par GPU, AlexNet, a été formé sur la GeForce GTX 580 en 2012 et l’année dernière, plus de 30 % des articles de recherche publiés sur l’IA ont cité l’utilisation de GeForce RTX. Aujourd’hui, avec l’IA générative et les PC RTX AI, n’importe qui peut devenir développeur. Une nouvelle vague d’outils low-code et no-code, tels que AnythingLLM, ComfyUI, Langflow et LM Studio, permettent aux passionnés d’utiliser des modèles d’IA dans des flux de travail complexes via des interfaces utilisateur graphiques simples. Les microservices NIM connectés à ces interfaces graphiques faciliteront l’accès et le déploiement des derniers modèles d’IA générative. Les NVIDIA AI Blueprints, basés sur les microservices NIM, fournissent des workflows de référence préconfigurés et faciles à utiliser pour les humains numériques, la création de contenu et bien plus encore. Pour répondre à la demande croissante des développeurs et des passionnés d’IA, tous les principaux fabricants de PC et de systèmes lancent des PC RTX AI compatibles NIM avec des GPU GeForce RTX 50.
Rendre l’IA NIMble. Les modèles de base et les réseaux de neurones formés sur d’immenses quantités de données brutes sont les éléments constitutifs de l’IA générative. NVIDIA lancera un pipeline de microservices NIM pour les PC RTX AI provenant de développeurs de modèles de premier plan tels que Black Forest Labs, Meta, Mistral et Stability AI. Les cas d’utilisation couvrent les grands modèles de langage, les modèles de langage de vision, la génération d’images, la parole, les modèles d’intégration pour la recherche et la génération augmentée, l’extraction de PDF et la vision via ordinateur. NVIDIA a également annoncé la famille de modèles ouverts Llama Nemotron qui offrent une grande précision sur un large éventail de tâches agents. Le modèle Llama Nemotron Nano sera proposé sous forme de microservice NIM pour les PC et postes de travail RTX AI, et excelle dans les tâches d’IA agentique telles que le suivi d’instructions, l’appel de fonctions, le chat, le codage et les mathématiques. Les microservices NIM incluent les composants clés pour exécuter l’IA sur PC et sont optimisés pour le déploiement sur les GPU NVIDIA, que ce soit sur les PC et postes de travail RTX ou dans le cloud. Les développeurs et les passionnés pourront rapidement télécharger, configurer et exécuter ces microservices NIM sur des PC Windows 11 avec le sous-système Windows pour Linux. Les microservices NIM, exécutés sur les PC RTX AI, seront compatibles avec les principaux frameworks d’IA et de développement d’agents, notamment AI Toolkit for VSCode, AnythingLLM, ComfyUI, CrewAI, Flowise AI, LangChain, Langflow et LM Studio. Les développeurs peuvent connecter des applications et des flux de travail construits sur ces frameworks à des modèles d’IA exécutant des microservices NIM via des points de terminaison standard, leur permettant d’utiliser la dernière technologie avec une interface unifiée dans le cloud, les centres de données, les postes de travail et les PC. Les passionnés pourront également découvrir une gamme de microservices NIM grâce à la prochaine version de la démo de la technologie NVIDIA ChatRTX.
Pour montrer comment les passionnés et les développeurs peuvent utiliser NIM pour créer des agents et des assistants IA, NVIDIA a présenté en avant-première le projet R2X, un avatar PC doté de la vision qui peut mettre les informations à portée de main de l’utilisateur. utilisateur, aidez-le avec les applications bureautiques et les appels de vidéoconférence, lisez et résumez des documents, et bien plus encore. L’avatar est rendu à l’aide de NVIDIA RTX Neural Faces, un nouvel algorithme d’IA générative qui augmente la rastérisation traditionnelle avec des pixels entièrement générés. Le visage est ensuite animé par un nouveau modèle NVIDIA Audio2Face-3D basé sur la diffusion qui améliore le mouvement des lèvres et de la langue. R2X peut être connecté aux services d’IA cloud tels que GPT4o d’OpenAI et Grok de xAI, ainsi qu’aux microservices NIM et aux plans d’IA, tels que les récupérateurs de PDF ou les LLM alternatifs, via des cadres de développement tels que CrewAI, Flowise AI et Langflow. Inscrivez-vous pour recevoir les mises à jour du projet R2X. Les microservices NIM sont également accessibles aux utilisateurs de PC via AI Blueprints, des flux de travail d’IA de référence qui peuvent être exécutés localement sur les PC RTX. À l’aide de ces plans, les développeurs peuvent créer des podcasts à partir de documents PDF, générer des images époustouflantes guidées par des scènes 3D, et bien plus encore. Le modèle PDF to Podcast extrait le texte, les images et les tableaux d’un PDF pour créer un script de podcast pouvant être modifié par les utilisateurs. Il peut également générer un enregistrement audio complet à partir du script en utilisant les voix disponibles dans le modèle ou sur la base d’un échantillon de voix d’utilisateur. De plus, les utilisateurs peuvent avoir une conversation en temps réel avec l’hôte du podcast AI pour en savoir plus sur des sujets spécifiques. Le projet utilise des microservices NIM tels que Mistral-Nemo-12B-Instruct pour le langage, NVIDIA Riva pour la synthèse vocale et la reconnaissance vocale automatique, et la collection de microservices NeMo Retriever pour l’extraction de PDF. L’IA Blueprint pour l’IA générative guidée en 3D donne aux artistes un contrôle plus précis sur la génération d’images. Même si l’IA peut générer des images époustouflantes à partir de simples invites textuelles, contrôler la composition d’une image en utilisant uniquement des mots peut s’avérer difficile. Avec ce modèle, les créateurs peuvent utiliser de simples objets 3D disposés dans un moteur de rendu 3D tel que Blender pour guider la génération d’images IA. L’artiste peut créer des ressources 3D à la main ou les générer à l’aide de l’IA, les placer dans la scène et régler la caméra de visualisation 3D. Ensuite, un flux de travail préprogrammé alimenté par le microservice FLUX NIM utilisera la composition actuelle pour générer des images de haute qualité correspondant à la scène 3D. Les microservices NVIDIA NIM et AI Blueprints seront disponibles à partir de février avec une prise en charge initiale des GPU professionnels GeForce RTX 50, GeForce RTX 4090 et 4080 et NVIDIA RTX 6000 et 5000. Des GPU supplémentaires seront pris en charge ultérieurement. ‘avenir. Des PC RTX AI compatibles NIM seront disponibles auprès d’Acer, ASUS, Dell, GIGABYTE, HP, Lenovo, MSI, Razer et Samsung, ainsi que chez les fabricants de systèmes locaux Corsair, Falcon Northwest, LDLC, Maingear, Mifcon, Origin PC, PCS et Balayage.