Dans le cadre de son calendrier de l’avent numérique, « douze jours d’OpenAI », qui a notamment dévoilé un nouvel abonnement et le déploiement du générateur vidéo Sora grand public, la société américaine a annoncé, jeudi, une évolution majeure pour ChatGPT. Le célèbre chatbot s’enrichit en effet de la vision en - réel, une compétence promise depuis plus de sept mois. Intégrée au mode vocal avancé, cette fonctionnalité permet à l’IA générative d’analyser visuellement l’environnement et les objets qui s’y trouvent via la caméra d’un smartphone. Elle peut ainsi répondre aux questions à leur sujet.
En plus de la vidéo, le mode vocal avancé, qui présente également la voix du Père Noël, prend également en charge le partage d’écran. Lors de ses échanges naturels avec le chatbot, l’utilisateur peut afficher les applications présentes sur l’écran de son appareil pour demander de l’aide ou résoudre des problèmes par exemple.
Cette nouvelle fonctionnalité, optimisée par le modèle de langage multimodal 4o d’OpenAI, est déployée dans l’application mobile ChatGPT pour les abonnés ChatGPT Teams, Plus et Pro. Les utilisateurs basés en Europe ne sont cependant pas encore éligibles, mais OpenAI prévoit déjà de l’étendre aux abonnés Plus et Pro dans les pays de l’UE, en Suisse, au Liechtenstein, en Islande et en Norvège. Quant aux utilisateurs des offres Enterprise et Edu, ils devront attendre janvier pour pouvoir accéder à cette fonctionnalité.
