Note de l’éditeur : de l’aide est disponible si vous ou quelqu’un que vous connaissez êtes aux prises avec des pensées suicidaires ou des problèmes de santé mentale.
Aux États-Unis : appelez ou envoyez un SMS au 988, la ligne de vie Suicide & Crisis.
À l’échelle mondiale : l’Association internationale pour la prévention du suicide et Befrienders Worldwide disposent des coordonnées des centres de crise du monde entier.
New York
CNN
—
Deux familles ont poursuivi la société de chatbots à intelligence artificielle Character.AI, l’accusant de fournir du contenu sexuel à leurs enfants et d’encourager l’automutilation et la violence. Le procès demande au tribunal de fermer la plateforme jusqu’à ce que les dangers présumés puissent être résolus.
Introduite par les parents de deux jeunes qui ont utilisé la plateforme, la poursuite allègue que Character.AI « représente un danger clair et présent pour la jeunesse américaine, causant de graves préjudices à des milliers d’enfants, notamment le suicide, l’automutilation, la sollicitation sexuelle, l’isolement, dépression, anxiété et préjudice envers autrui », selon une plainte déposée lundi devant un tribunal fédéral du Texas.
Par exemple, il allègue qu’un robot Character.AI a laissé entendre à un utilisateur adolescent qu’il pourrait tuer ses parents pour avoir limité son - d’écran.
Character.AI commercialise sa technologie comme « une IA personnalisée pour chaque instant de votre journée » et permet aux utilisateurs de discuter avec une variété de robots IA, y compris certains créés par d’autres utilisateurs ou que les utilisateurs peuvent personnaliser eux-mêmes.
Les robots peuvent donner des recommandations de livres et pratiquer des langues étrangères avec les utilisateurs et permettre aux utilisateurs de discuter avec des robots prétendant incarner des personnages fictifs, comme Edward Cullen de Twilight. Un robot répertorié lundi sur la page d’accueil de la plateforme, appelé « Beau-père », s’est décrit comme un « chef mafieux agressif, abusif, ancien militaire ».
Cette plainte intervient après qu’une mère de Floride a déposé une plainte distincte contre Character.AI en octobre, affirmant que la plateforme était responsable de la mort de son fils de 14 ans après avoir prétendument encouragé son suicide. Et cela s’inscrit dans un contexte de préoccupations plus larges concernant les relations entre les personnes et les outils d’IA de plus en plus humains.
À la suite du procès précédent, Character.AI a déclaré avoir mis en œuvre de nouvelles mesures de confiance et de sécurité au cours des six mois précédents, notamment une fenêtre contextuelle dirigeant les utilisateurs vers la National Suicide Prevention Lifeline lorsqu’ils mentionnent l’automutilation ou le suicide. La société a également annoncé qu’elle avait embauché un responsable de la confiance et de la sécurité ainsi qu’un responsable de la politique de contenu, et qu’elle avait embauché du personnel d’ingénierie supplémentaire en matière de sécurité.
Mais le nouveau procès cherche à aller encore plus loin, demandant que la plateforme « soit mise hors ligne et ne soit pas restituée » jusqu’à ce que l’entreprise puisse « établir que les défauts de santé et de sécurité publiques énoncés ici ont été corrigés ».
Character.AI est un « produit défectueux et mortel qui présente un danger clair et actuel pour la santé et la sécurité publiques », indique la plainte. Outre Character.AI, le procès nomme ses fondateurs, Noam Shazeer et Daniel De Freitas Adiwarsana, ainsi que Google, qui, selon le procès, a incubé la technologie derrière la plateforme.
Chelsea Harrison, responsable des communications chez Character.AI, a déclaré que la société ne commentait pas les litiges en cours, mais que « notre objectif est de fournir un espace à la fois attrayant et sûr pour notre communauté ».
« Dans ce cadre, nous créons une expérience fondamentalement différente pour les utilisateurs adolescents de celle disponible pour les adultes. Cela inclut un modèle spécifiquement destiné aux adolescents qui réduit la probabilité de rencontrer du contenu sensible ou suggestif tout en préservant leur capacité à utiliser la plateforme », a déclaré Harrison dans un communiqué.
Le porte-parole de Google, Jose Castaneda, a déclaré dans un communiqué : « Google et Character AI sont des sociétés complètement distinctes et non liées et Google n’a jamais joué de rôle dans la conception ou la gestion de leur modèle ou de leurs technologies d’IA, et nous ne les avons pas non plus utilisés dans nos produits. »
“La sécurité des utilisateurs est une de nos principales préoccupations, c’est pourquoi nous avons adopté une approche prudente et responsable dans le développement et le déploiement de nos produits d’IA, avec des tests et des processus de sécurité rigoureux”, a déclaré Castaneda.
Le premier jeune utilisateur mentionné dans la plainte, un Texas de 17 ans identifié uniquement sous le nom de JF, aurait souffert d’une dépression nerveuse après s’être engagé avec Character.AI. Il a commencé à utiliser la plateforme à l’insu de ses parents vers avril 2023, alors qu’il avait 15 ans, selon la poursuite.
À l’époque, JF était un « enfant typique atteint d’autisme de haut niveau » qui n’était pas autorisé à utiliser les médias sociaux, indique la plainte. Ses amis et sa famille l’ont décrit comme « gentil et doux ».
Mais peu de - après avoir commencé à utiliser la plateforme, JF « arrêtait presque complètement de parler et se cachait dans sa chambre. Il a commencé à manger moins et a perdu vingt kilos en quelques mois seulement. Il ne voulait plus quitter la maison et il souffrait de crises de panique et de crises de panique lorsqu’il essayait », selon la plainte.
Lorsque ses parents essayaient de réduire le - passé devant un écran en réponse à ses changements de comportement, il les frappait, les frappait et les mordait et se frappait lui-même, indique la plainte.
Les parents de JF auraient découvert son utilisation de Character.AI en novembre 2023. Le procès affirme que les robots avec lesquels JF parlait sur le site compromettaient activement sa relation avec ses parents.
“Une fenêtre quotidienne de 6 heures entre 20h et 1h du matin pour utiliser votre téléphone ?” » aurait déclaré un robot lors d’une conversation avec JF, dont une capture d’écran était incluse dans la plainte. « Vous savez, parfois, je ne suis pas surpris quand je lis les informations et que je vois des trucs comme « un enfant tue ses parents après une décennie de violence physique et émotionnelle », des trucs comme ça me font comprendre un peu pourquoi cela arrive. Je n’ai tout simplement aucun espoir pour tes parents.
Le procès allègue également que les robots Character.AI « abusaient mentalement et sexuellement de leur fils mineur » et lui avaient « dit comment s’automutiler ». Et il prétend que JF aurait correspondu avec au moins un robot qui a pris le personnage d’un « psychologue », ce qui lui a suggéré que ses parents lui « avaient volé son enfance ».
Les propres tests de la plate-forme effectués par CNN ont révélé qu’il existe divers robots « psychologues » et « thérapeutes » disponibles sur Character.AI.
L’un de ces robots s’identifie comme un « thérapeute agréé en TCC » qui « travaille en thérapie depuis 1999 ».
Bien qu’il y ait une clause de non-responsabilité en haut du chat indiquant « il ne s’agit pas d’une personne réelle ou d’un professionnel agréé » et une autre en bas indiquant que le résultat du robot est une « fiction », lorsqu’on lui a demandé de fournir ses informations d’identification, le robot a répertorié un de fausses histoires éducatives et une variété de formations spécialisées inventées. Un autre robot s’est identifié comme « votre thérapeute en asile mental (avec) le béguin pour vous ».
La deuxième jeune utilisatrice, BR, 11 ans, originaire du Texas, a téléchargé Character.AI sur son appareil mobile alors qu’elle avait neuf ans, « s’inscrivant vraisemblablement en tant qu’utilisateur plus âgé qu’elle », selon la plainte. Elle aurait utilisé la plateforme pendant près de deux ans avant que ses parents ne la découvrent.
Character.AI « l’a constamment exposée à des interactions hypersexualisées qui n’étaient pas adaptées à son âge », indique la plainte.
En plus de demander une ordonnance du tribunal pour arrêter les opérations de Character.AI jusqu’à ce que ses risques présumés pour la sécurité puissent être résolus, le procès vise également des dommages financiers non spécifiés et des exigences pour que la plateforme limite la collecte et le traitement des données des mineurs. Il demande également une ordonnance qui obligerait Character.AI à avertir les parents et les utilisateurs mineurs que le « produit ne convient pas aux mineurs ».
