Pour l’avant-dernier jour de son calendrier de l’avent, OpenAI n’a pas annoncé de nouveauté majeure. La société a lancé une nouvelle fonctionnalité pour ChatGPT : la possibilité de contrôler les applications sur votre ordinateur.
Le 19 décembre était le onzième jour d’annonce d’OpenAI, sur les douze prévus. La société dirigée par Sam Altman a présenté quelques nouveautés pour ChatGPT… qui sont assez décevantes si l’on attendait GPT-4.5 ou DALL-E 4. Le chatbot peut désormais « contrôle » ce qui se passe sur votre écran d’ordinateur, grâce à l’application dédiée. Pour l’instant, seuls les Mac sont concernés.
ChatGPT veut vous aider avec vos notes et codes
La nouvelle fonctionnalité de ChatGPT s’appelle « Travailler avec les applications ». Il permet à ChatGPT de contrôler les applications sur son ordinateur.
L’idée principale derrière cette nouvelle fonctionnalité est d’éviter de devoir constamment copier et coller du texte et des fichiers dans le chatbot. Avec « Travailler avec les applications », vous n’avez rien d’autre à faire que de poser votre question. LE ” contexte » est ajouté automatiquement, puisque ChatGPT voit la fenêtre de l’application. Seules les applications sont pour l’instant compatibles, comme Xcode, VS Code ou Warp pour la programmation, Notion, Apple Notes et Quip pour les notes.
« Travailler avec les applications » fonctionne avec tous les modèles et fonctionnalités ChatGPT. Par exemple, nous pouvons demander au chatbot de concevoir un graphique à partir des données d’une application choisie. Il est également possible d’activer SearchGPT pour utiliser ce qui se trouve sur Internet pour renseigner la réponse. Vous pouvez tout à fait utiliser le mode vocal, notamment pour interagir avec un faux Père Noël, sans toucher la souris. ChatGPT fera avec l’application ce que vous lui demandez de faire.
Pour fonctionner, « Travailler avec les applications » utilise l’API d’accessibilité macOS. C’est pourquoi vous devez activer les autorisations ChatGPT dans les paramètres de votre Mac pour pouvoir l’utiliser. C’est ce qui permet à l’application d’avoir accès au texte d’autres applications.
Le travail avec les applications peut être activé à tout moment
Au lieu de revenir constamment sur ChatGPT pour l’activer, vous pouvez rester dans une application. Avec le raccourci Option + Maj + 1 sur Mac, ChatGPT avec Travailler avec les applications apparaît dans une petite fenêtre et vous pouvez lui demander ce que vous voulez. En fonction de ses usages, il est possible de changer de modèle. Par exemple, si l’on veut analyser un texte, o1 sera meilleur que GPT-4o.
À l’avenir, ChatGPT pourra modifier lui-même vos notes ou vos programmes, en fonction des instructions que vous lui donnerez. Selon OpenAI, il s’agit d’une suggestion courante des utilisateurs expérimentés. Actuellement, Travailler avec les applications est disponible uniquement sur l’application Mac (sur Windows plus tard) pour les utilisateurs disposant d’abonnements Plus, Pro, Team, Enterprise et Edu.
Le dernier rendez-vous OpenAI est prévu le 20 décembre à 19h (heure française). Les rumeurs s’accordent sur la présentation d’un nouveau modèle expérimental, qui pourrait s’appeler o3.