les éditeurs en quête de maturité, selon AI Builders

Qu’est-ce qu’un grand modèle d’action ? Le moteur d’un agent autonome

Ces nouveaux types de modèles apparaissant en 2022 sont appelés « Large Action Models » ou LAM. Il s’agit pour l’instant de variantes assez affinées du LLM ou de grands modèles de langage auxquels a été consacrée une partie de la formation (utilisant notamment des techniques d’apprentissage par renforcement) pour réaliser ces tâches. Ce sont les fondements de ce que les éditeurs appellent des « agents autonomes ».

« Un agent est la combinaison d’un orchestrateur LLM, capable de décomposer les tâches et de les assigner, avec un fragment de code dédié », décrit Stéphane Roder, PDG d’AI Builders. “Ce morceau de code s’occupe de chaque sous-tâche, comprend le fonctionnement de l’outil, interagit avec lui, récupère le résultat produit et le transmet à l’orchestrateur.” Ce serait l’évolution du RPA. Contrairement à un bot RPA qui doit être programmé manuellement ou transmettre l’enregistrement d’une série de tâches, un agent « trouvera tout seul les actions à réaliser ».

La prolifération de ces agents suggère un passage de l’analyse prescriptive, que les LLM promettaient d’améliorer, à une actionnabilité planifiée. « C’est une tendance que Gartner prédisait dès 2014 », note Stéphane Roder.

Les premiers cas d’usage de ces agents plus ou moins autonomes sont les « assistants applicatifs ». AI Builders en distingue deux : les assistants d’application intégrés aux suites bureautiques et ceux infusés dans les suites métiers. « Nous observons une tendance de fond chez tous les éditeurs de logiciels qui proposent ou vont proposer ces assistants applicatifs intégrant au moins un agent », commente le PDG d’AI Builders.

Salesforce Agentforce et Microsoft Copilot se démarquent du lot

Pour aider les entreprises à y voir plus clair dans cette jungle de croissance rapide, le cabinet de conseil a concocté son AI Decision Matrix.

À l’image du carré magique de Gartner, AI Builders a défini quatre catégories : AI Next Gen, AI Best-In-Class, AI Rising Star et AI Safe Bet. La position de la solution en ordonnée matérialise sa performance et en abscisse sa maturité.

Les performances sont évaluées en fonction de la qualité des réponses obtenues, de la personnalisation possible de l’assistant, de la sécurité et de la gestion des données, du nombre de fonctionnalités et de la complexité des tâches effectuées. La maturité est notée selon quatre critères, à savoir le niveau d’implantation de la solution Source sur le marché, l’étendue des intégrations internes et externes, la facilité de déploiement et d’utilisation, ainsi que l’évolutivité.

Les solutions intitulées Next Gen et Rising Star se trouvent à gauche du tableau. Les « étoiles montantes » sont en cours de développement – ​​donc inefficaces et peu fiables – mais prometteuses de gagner du terrain sur le marché. Les solutions Next Gen sont considérées comme efficaces, mais peu matures. La catégorie Safe Bet, comme son nom l’indique, regroupe des assistants performants, aux usages multiples et plus fiables que la moyenne. Les solutions « Best-in-Class » sont censées être les meilleures du marché et se distinguent par leur capacité à s’intégrer aux SI existants des entreprises. Les assistants des applications bureautiques sont signalés par un point orange, tandis que ceux dédiés aux outils métiers sont en rouge.

Ainsi, Zia de Zoho, Muse, Konverso et Work Intelligence de Wrike sont les « étoiles montantes ». A l’inverse, Salesforce Agentforce, Microsoft Copilot, Gemini de Google et Now Assist de ServiceNow sont les assistants les plus efficaces et les plus matures. Les solutions Safe Bet regroupent les outils bureautiques de Dust, Notion AI ainsi que les business assistants Agent Lumi, Adobe Sensei et Amazon Q.

Priorité à la performance

« Dans toutes les catégories d’assistants, nous considérons qu’Agentforce est la solution la plus puissante à ce jour », a déclaré Dimitri Calmand, analyste données/IA chez AI Builders Research. « Ce qui fait la différence selon nous, c’est la fonctionnalité Agent Builder qui vous permet de créer vos propres agents avec des actions existantes ou supplémentaires via MuleSoft, entre autres, ce qui permet un gain de temps considérable.

“Dans toutes les catégories d’assistants, nous considérons Agentforce comme la solution la plus puissante à ce jour.”

Étrangement, GitHub Copilot, pourtant l’un des outils d’IA générative les plus populaires parmi les développeurs, est catégorisé comme « Next Gen », avec Joule de SAP. « Autant GitHub Copilot est efficace pour générer du code et des tests, autant son intégration dans l’environnement de programmation et sa capacité à assister certaines tâches propres à des catégories de développeurs ne sont pas très avancées », explique Stéphane Roder.

Quant à Joule de SAP, « les fonctionnalités les plus avancées sont prévues pour 2025 ». En revanche, le fait que l’éditeur allemand développe également des assistants agents serait révélateur, selon le PDG d’AI Builders. « Si un acteur comme SAP commence à proposer des agents, c’est qu’on voit un standard s’établir.

Si un acteur comme SAP commence à proposer des agents, c’est qu’on voit un standard s’établir.

Il convient également de noter que certains critères d’évaluation ont été surpondérés par l’entreprise. Ainsi, la qualité des réponses obtenues, la complexité des tâches réalisées et l’étendue des intégrations sont mises en avant dans ce benchmark. « Ce sont les critères qui auront le plus d’impact sur le ROI de notre client », explique Pauline de Lavallade, directrice d’AI Builders Research. A l’inverse, l’obtention de solutions est plus complexe à juger car elle dépend souvent d’un modèle de responsabilité partagée. D’autant que de nombreuses inconnues demeurent sur la manière de sécuriser les interactions des agents avec des outils tiers.

Tarification : encore une fois, beaucoup d’expérimentation

La matrice de décision ne semble pas prendre en compte le prix des solutions. « Les prix des assistants varient en fonction des options et des niveaux de personnalisation », répond Dimitri Calmand. « Plusieurs outils, dont Gemini et Notion, proposent des essais gratuits, puis le tarif augmente jusqu’à environ 20 euros par mois et par utilisateur. Cependant, des options commerciales plus personnalisées augmentent considérablement le coût. Par exemple, Copilot pour Microsoft 365 est facturé 30 euros par mois et par utilisateur, tandis que Copilot Studio est facturé 200 dollars pour 25 000 messages par mois », illustre-t-il.

En plus de tarifs différents selon les modules choisis, Salesforce propose aux clients Sales, Services, Marketing et Commerce Cloud existants 1 000 conversations gratuites et 250 000 crédits de données gratuits pour Data Cloud. Au-delà, le géant du CRM compte facturer deux dollars pour chaque conversation. Le géant du CRM propose également un autre modèle de tarification personnalisé.

Pour Agentforce Service Agent, il fournit un simulateur de ROI prenant en compte le coût des employés du service client, le nombre de conversations qu’ils traitent par jour et le volume de tickets de support à transférer vers Agentforce. Cet outil fourni à titre indicatif ne prend pas en compte les coûts de mise en œuvre, mais la prise en compte du client permettra de réduire une partie de sa masse salariale.

« Il y a aussi les prémices d’une économie d’agents verticalisés qui se met en place. Certains agents seront développés par des partenaires ou des entreprises avant d’être commercialisés comme sur un App Store », ajoute Stéphane Roder.

Un paysage changeant

La matrice AI Builders qui vient de sortir sera mise à jour dans six mois. « C’est un marché qui évolue très vite. Les solutions continueront d’évoluer chaque mois, de nouveaux acteurs émergeront et les outils existants seront renommés. Typiquement, chez Salesforce, Einstein GPT est devenu Agentforce », rappelle Pauline de Lavallade.

« Imaginez, un projet d’IA voit le jour et une semaine plus tard, quelqu’un vient me voir pour avoir un avis », s’exclame Stéphane Roder.

Quoi qu’il en soit, les acteurs cités se livrent à une concurrence féroce. « Il y a la peur de la désintermédiation. Prenons l’exemple de Microsoft qui veut connecter son Copilot à tout, y compris Salesforce et SAP, et Salesforce qui s’oppose à cette volonté en proposant ses propres agents », mentionne le PDG d’AI Builder. Lors de la conférence annuelle Dreamforce, Marc Benioff s’est montré véhément envers Microsoft.

Outre les LLM ou LAM « génériques », le cabinet de conseil prévoit l’émergence d’assistants universels, incarnés par des fonctions telles que « Computer Use » et suit de près la vision de « l’automatisation agentique » imaginée par UiPath. « La notion d’agent s’étend à de nombreuses modalités, mais nous n’avons pas encore étudié cette partie », concède Stéphane Roder. « Nos clients sont moins intéressés par ces solutions qui s’interfacent avec les systèmes et elles restent techniquement inefficaces. Nous sommes au tout début de cette capacité à décomposer le raisonnement.