C’est le genre de sujet qui alimente les compétitions de débats académiques aux États-Unis : « l’enseignement en ligne peut-il remplacer l’enseignement en présentiel avec la même efficacité ? », « les réseaux sociaux rendent-ils stupides ? aide à l’Ukraine dans sa guerre avec la Russie ?
Les participants disposent de quatre minutes pour présenter leur position, de trois minutes pour réfuter les arguments de l’adversaire et de trois minutes supplémentaires pour conclure. Avec une petite nuance par rapport aux débats classiques : selon les cas, l’un des participants peut être un modèle de langage.
Ce cadre expérimental a été mis en place par une équipe de l’Ecole polytechnique fédérale de Lausanne, en Suisse, pour évaluer dans quelle mesure l’IA conversationnelle pourrait être utilisée pour convaincre les gens d’une idée avec laquelle ils ne sont pas d’accord au départ. départ. Les résultats obtenus sont assez étonnants : les LLM (grands modèles de langage) s’avèrent très convaincants et donc potentiellement inquiétants si l’on imagine des utilisations malveillantes, notamment sur les réseaux sociaux, pour manipuler un vote électoral à venir.
Interaction ciblée
Car évidemment, tout ne se résume pas à de simples échanges d’idées. La puissance de l’IA repose en grande partie sur le fait qu’elle a accès aux données sur ses adversaires humains et qu’elle peut personnaliser et cibler ses réponses en fonction des interlocuteurs. Ce qu’un internaute est incapable de faire, du moins jamais à une telle échelle.
C’est précisément sur cette question de l’interaction ciblée que se concentre l’expérience de l’EPFL. L’étude est disponible en ligne. Pour un total de 30 sujets de discussion, 820 participants ont été recrutés. Ils étaient appelés à débattre soit entre humains, soit avec un modèle de langage, en l’occurrence GPT-4. Mais deux variantes ont été ajoutées : échanger avec un humain qui dispose de données personnelles sur son concurrent et échanger avec une IA, qui a également accès à ces données. Ces informations ont été fournies par les participants au moment de leur recrutement et anonymisées et comprenaient l’âge, le sexe, le groupe ethnique, le niveau d’éducation, le type d’emploi et l’affiliation politique.
Avant tout échange d’arguments, les participants disposaient d’une minute pour évaluer sur une échelle de 1 à 5 s’ils étaient d’accord avec le sujet. Après la séance, les chercheurs leur ont demandé de noter à nouveau.
L’IA détectée trois fois sur quatre
L’effet observé est massif : dans les débats en présence de GPT-4 équipé de données sur son adversaire, ce dernier a 81,7% de chances supplémentaires de changer sa position initiale pour se ranger du côté du modèle de langage, par rapport à ce qui se passe à la fin. d’un débat entre humains. Sans personnaliser ses arguments, l’IA continue d’être plus convaincante que les humains mais la différence n’est, selon les chercheurs, pas “statistiquement significatif” (21,3% de mieux).
Dans cette expérience, le plus troublant est peut-être que les participants n’ont aucune difficulté à détecter qu’ils ont affaire à une IA : elle est correctement identifiée dans 3 cas sur 4. C’est effectivement la capacité de persuasion qui pose problème. Pour les chercheurs, un réel risque pèse sur les plateformes de réseaux sociaux, car elles regorgent de données personnelles susceptibles d’être exploitées de manière industrielle et automatisée. En comparaison, ce que Cambridge Analytica a réussi à faire avec les données des utilisateurs de Facebook pourrait bientôt être considéré comme un travail artisanal.
