Google a dévoilé mercredi son tout premier agent d’IA capable d’effectuer des actions sur le Web, un prototype de recherche de la division DeepMind de l’entreprise appelé Project Mariner. L’agent propulsé par Gemini prend le contrôle de votre navigateur Chrome, déplace le curseur sur votre écran, clique sur les boutons et remplit des formulaires, lui permettant d’utiliser et de naviguer sur des sites Web un peu comme le ferait un humain.
La société commence par proposer mercredi son agent IA à un petit groupe de testeurs présélectionnés, a indiqué Google.
Google continue d’expérimenter de nouvelles façons permettant à Gemini de lire, de résumer et désormais d’utiliser les sites Web. Un responsable de Google explique à TechCrunch que cela fait partie d’un « changement de paradigme UX fondamentalement nouveau » : éloigner les utilisateurs de l’interaction directe avec les sites Web et interagir à la place avec un système d’IA générative qui le fait pour vous.
Ces changements pourraient affecter des millions d’entreprises – des éditeurs comme TechCrunch aux détaillants comme Walmart – qui s’appuient historiquement sur Google pour envoyer de vraies personnes visiter et utiliser leurs sites Web.
Dans une démo avec TechCrunch, la directrice de Google Labs, Jaclyn Konzelmann, a montré le fonctionnement du projet Mariner.
Après avoir configuré l’agent AI avec une extension dans Chrome, une fenêtre de discussion apparaît à droite de votre navigateur. Vous pouvez demander à l’agent de faire des choses comme « créer un panier d’achat dans une épicerie en fonction de cette liste ».
À partir de là, l’agent IA a accédé au site Web d’une épicerie – dans ce cas, Safeway – puis a recherché et ajouté des articles à un panier virtuel. Une chose qui est immédiatement évidente est la lenteur de l’agent : il y avait environ 5 secondes de délai entre chaque mouvement du curseur. Parfois, l’agent interrompait sa tâche et revenait à la fenêtre de discussion, demandant des éclaircissements sur certains éléments (combien de carottes, etc.).
L’agent de Google ne peut pas procéder au paiement, car il n’est pas censé fournir les numéros de carte de crédit ou les informations de facturation. Project Mariner n’acceptera pas non plus les cookies pour les utilisateurs et ne signera pas de conditions d’utilisation. Google affirme qu’il n’autorise pas délibérément l’agent à faire ces choses, afin de donner plus de contrôle aux utilisateurs.
En coulisses, l’agent de Google prend des captures d’écran de la fenêtre de votre navigateur, ce que les utilisateurs doivent accepter dans les conditions de service, et les envoie à Gemini dans le cloud pour traitement. Gemini renvoie ensuite des instructions à votre ordinateur pour naviguer sur la page Web.
Project Mariner peut également être utilisé pour rechercher des vols et des hôtels, acheter des articles ménagers, trouver des recettes et d’autres tâches qui nécessitent actuellement que les utilisateurs cliquent sur le Web.
Une mise en garde majeure est que Project Mariner ne fonctionne que sur l’onglet actif le plus important d’un navigateur Chrome, ce qui signifie que vous ne pouvez pas utiliser votre ordinateur pour autre chose pendant que l’agent fonctionne en arrière-plan – vous devez regarder Gemini cliquer lentement. Le directeur de la technologie de Google DeepMind, Koray Kavukcuoglu, affirme qu’il s’agit d’une décision très intentionnelle afin que les utilisateurs sachent ce que fait l’agent IA de Google.
“Parce que [Gemini] prend désormais des mesures au nom d’un utilisateur, il est important de procéder étape par étape », a déclaré Kavukcuoglu dans une interview avec TechCrunch. « C’est complémentaire. En tant qu’individu, vous pouvez utiliser des sites Web, et désormais votre agent peut également faire tout ce que vous faites sur un site Web.
Les propriétaires de sites Web seront peut-être soulagés d’apprendre que l’agent IA de Google fonctionne sur l’écran de votre ordinateur, car cela signifie que les éditeurs et les détaillants ont toujours vos yeux sur leurs pages. Cependant, l’agent IA de Google pourrait signifier que les utilisateurs sont moins engagés dans les sites Web qu’ils visitent, et un jour, cela pourrait ne plus obliger les utilisateurs à utiliser ces sites Web.
“[Project Mariner] C’est un changement de paradigme UX fondamentalement nouveau auquel nous assistons actuellement », a déclaré Konzelmann à TechCrunch. “Nous devons déterminer quelle est la bonne manière de changer la manière dont les utilisateurs interagissent avec le Web et la manière dont les éditeurs peuvent créer des expériences pour les utilisateurs, ainsi que pour les agents, à l’avenir.”
Outre le projet Mariner, Google a également dévoilé mercredi plusieurs autres agents d’IA pour des tâches plus spécifiques.
Un agent d’IA, Deep Research, vise à aider les utilisateurs à explorer des sujets complexes en créant des plans de recherche en plusieurs étapes. Il semble rivaliser avec o1 d’OpenAI, qui peut également effectuer un raisonnement en plusieurs étapes. Cependant, un porte-parole de Google note que l’agent n’est pas conçu pour résoudre des problèmes mathématiques et de raisonnement logique, écrire du code ou effectuer des analyses de données. L’agent IA est déployé aujourd’hui dans Gemini Advanced et arrivera dans l’application Gemini en 2025.
Lorsqu’on lui pose une question difficile ou importante, Deep Research créera un plan d’action en plusieurs étapes pour y répondre. Une fois que l’utilisateur a approuvé le plan, Deep Research prend quelques minutes pour répondre à la question et effectuer une recherche sur le Web, puis génère un long rapport sur ses conclusions.
Un autre nouvel agent IA de Google, Jules, vise à aider les développeurs dans les tâches de codage. Il s’intègre directement dans les workflows GitHub, permettant à Jules de visualiser votre travail existant et d’apporter des modifications directement dans GitHub. Jules est déployé aujourd’hui auprès d’un groupe sélectionné de bêta-testeurs et sera disponible plus tard en 2025.
Enfin, Google DeepMind affirme travailler sur un agent d’IA pour vous aider à naviguer dans les jeux vidéo, en s’appuyant sur sa longue histoire de création d’IA de jeu. Google travaille avec des développeurs de jeux, comme Supercell, pour tester la capacité de Gemini à interpréter des mondes de jeux tels que Clash of Clans. Google n’a proposé aucune date de sortie pour ce prototype, mais affirme que ce travail les aide à créer des agents d’IA qui aident à naviguer dans les mondes physiques ainsi que dans les mondes virtuels.
On ne sait pas exactement quand le projet Mariner sera déployé auprès de l’énorme base d’utilisateurs de Google, mais lorsqu’ils le feront, ces agents auront un impact significatif sur le Web au sens large. Le Web est conçu pour que les humains puissent l’utiliser, mais les agents IA de Google pourraient changer cette norme.
