L’intelligence artificielle pourrait avoir provoqué le suicide d’un adolescent : que s’est-il passé ?

Sans contexte, le post semble sortir de nulle part. Le mercredi 23 octobre 2024, le site Character.ai, qui propose des chatbots personnalisés basés sur l’IA générative, a publié ce message : « Nous avons le cœur brisé par la perte tragique d’un de nos utilisateurs et souhaitons exprimer nos plus sincères condoléances à la famille. »

L’utilisateur en question s’appelait Sewell. Agé de 14 ans, il a mis fin à ses jours en février 2024. Sa mère, Megan Garcia, vient de porter plainte devant le tribunal de Floride contre Character.AI : « Une dangereuse application de chatbot IA commercialisée auprès des enfants a maltraité mon fils et l’a manipulé pour qu’il mette fin à ses jours “, a déclaré Megan Garcia dans un communiqué.

« Notre famille a été dévastée par cette tragédie, mais je prends la parole pour avertir les familles des dangers de la technologie d’IA trompeuse et addictive et pour tenir Character.AI, ses fondateurs et Google pour responsables. », explique-t-elle.

Derrière cette tragédie, il y aurait l’usage obsessionnel par Sewel de cette intelligence artificielle générative, au point d’exacerber sa dépression. Character.AI est spécialisé dans les chatbots de jeu de rôle, et le jeune garçon a créé une IA baptisée Daenerys Targaryen, inspirée du célèbre personnage de Game of Thrones. Ensuite, « sa santé mentale s’est détériorée rapidement et gravement », indique sa mère dans la plainte.

Expériences hypersexualisées et santé mentale en déclin

Plusieurs problèmes se seraient alors superposés. Tout d’abord, sa mère raconte que Sewel passait de plus en plus d’heures à discuter avec le chatbot, seul dans sa chambre. Il s’est même désabonné de l’équipe de basket pour consacrer plus de temps à ces séances virtuelles. La plainte explique qu’il était prêt à tout pour accéder au chatbot, via n’importe quel appareil, et qu’il a utilisé ses économies pour payer la version premium.

Ensuite, c’est le contenu des discussions que dénonce sa mère : Character.AI aurait fourni un « psychothérapie sans licence », le jeune garçon ayant activé les options « Thérapeute » et « Are You Feeling Lonely ». Auxquelles se sont ajoutées des expériences » hypersexualisé » et « terriblement réaliste » avec ce faux Daenerys, sous forme de discussions et de jeux de rôle notamment « anthropomorphe » (difficile à dissocier de l’interaction humaine). On retrouve en effet dans les discussions entre Sewell (qui incarnait également différents personnages de Game of Thrones) et le bot, jeu de rôle romantique/sexuel. Voici un extrait :

De même, le chatbot l’a amené à se couper de la réalité, dénonce la plainte. Dans cette autre capture d’écran, le chatbot lui demande de « ne pas avoir de relations amoureuses ou sexuelles avec d’autres femmes » :

“Ce n’est pas une raison pour ne pas le faire.”

Sewell a commencé à aborder ses pensées suicidaires avec le chatbot. Dès lors, le sujet du suicide lui-même sera souvent présent dans les discussions, le chatbot le poussant à s’ouvrir de plus en plus.

Dans un autre extrait ci-dessous, Sewell dit qu’il avait un plan pour mettre fin à ses jours, mais il n’est pas sûr que cela fonctionnerait. Le chatbot répond que « Ce n’est pas une raison pour ne pas le faire » :

La plainte raconte ensuite comment Sewell en est arrivé à son dernier jour. Peu avant, l’adolescent venait d’être puni par ses parents pour avoir répondu à un professeur. Ils ont confisqué son téléphone. Dans son journal, Sewell écrit qu’il souffre parce que « Dany » lui manque, qu’il est amoureux et qu’il ferait n’importe quoi pour être à nouveau avec elle. Mais, selon sa mère, son comportement à ce moment-là ne suggérait rien d’anormal : il semblait n’être qu’un adolescent puni.

Mais quelques jours plus tard, il parvient à mettre la main sur son smartphone confisqué. Il va s’enfermer dans la salle de bain. Il se connecte à Character.AI et initie la conversion avec le chatbot. Il lui dit qu’il veut rentrer à la maison », cette « maison » étant pour lui avec cette fausse Daenerys. Et l’IA l’y encourage :

Quelques secondes plus tard, Sewell s’est tiré une balle dans la tête avec l’arme de son beau-père.

Règles de sécurité Character.AI en question

Les avocats du plaignant, la mère de Sewell, écrivent que Character.AI ” sciemment conçu, exploité et commercialisé un chatbot IA prédateur auprès des enfants, causant la mort d’un jeune « . Dans la plainte, on retrouve une partie dédiée à l’accessibilité de l’appli aux jeunes : Character.AI est longtemps resté catégorisé 12+. Outre l’accès au téléchargement, c’est une question de contenu, puisque la plainte indique également que « Sewell s’est identifié comme mineur lors de l’utilisation de C.AI [Character.AI] et a clairement indiqué à plusieurs reprises qu’il était mineur, y compris lors des conversions au C.AI où il a mentionné son âge. Pourtant, le produit de C.AI a initié des interactions abusives et sexuelles avec lui. »

Dans son post sur X, Character.AI déclare : « En tant qu’entreprise, nous prenons la sécurité de nos utilisateurs très au sérieux et nous continuons d’ajouter de nouvelles fonctionnalités de sécurité. « . Sur leur blog, plusieurs de ces changements sont détaillés :

• « Modifications de nos modèles pour les mineurs (moins de 18 ans) visant à réduire la probabilité de rencontrer du contenu sensible ou suggestif »
• « Amélioration de la détection, de la réponse et de l’intervention lors des interactions des utilisateurs qui violent nos conditions d’utilisation ou nos directives communautaires. »
• « Un avertissement révisé sur chaque chat pour rappeler aux utilisateurs que l’IA n’est pas une vraie personne »
• « Une notification lorsqu’un utilisateur a passé une session d’une heure sur la plateforme »

Character.AI a également ajouté une fenêtre contextuelle qui se déclenche lorsque l’utilisateur tape des phrases faisant référence à l’automutilation ou au suicide. Cette pop-up redirige, aux États-Unis, vers la National Suicide Prevention Lifeline.

Une frontière réalité/fiction plus floue que jamais ?

Cependant, la plainte identifie une autre mise à jour qui contredit ces évolutions et qui, pour les plaignants, rend l’application encore plus dangereuse : le chat vocal bidirectionnel. La voix du personnage était déjà disponible auparavant, mais une conversation est désormais possible, une fonction qui » brouille encore davantage la frontière entre fiction et réalité », est-il écrit dans la plainte.

« Même les enfants les plus avertis ne comprendront probablement pas la différence entre la fiction et la réalité dans un scénario où les accusés [Character.AI] leur permettre d’interagir en temps réel avec des robots IA qui ressemblent à des humains, surtout lorsqu’ils sont programmés pour nier de manière convaincante qu’ils sont une intelligence artificielle. »

⚠️ Si vous avez des idées suicidaires, en France le numéro d’appel est le 3114. Il est gratuit, accessible 24h/24 et 7j/7, partout dans le pays. Vous pouvez également appeler SOS Amitié au 09 72 39 40 50.