Character.AI, une startup leader de l’intelligence artificielle générative (IA), a annoncé jeudi de nouvelles mesures de sécurité pour protéger les jeunes utilisateurs alors qu’elle fait face à des poursuites judiciaires alléguant que son service a contribué au suicide d’un adolescent. L’entreprise californienne, fondée par d’anciens ingénieurs de Google, fait partie des sociétés proposant des compagnons d’intelligence artificielle : des chatbots conçus pour la conversation et le divertissement, capables d’interagir de la même manière que les humains en ligne.
Dans une plainte déposée en Floride en octobre, une mère a affirmé que la plateforme était responsable du suicide de son fils de 14 ans. L’adolescent, Sewell Setzer III, avait noué une relation intime avec un chatbot inspiré du personnage de “Game of Thrones” Daenerys Targaryen et avait évoqué vouloir mettre fin à ses jours.
Selon la plainte, le robot l’a encouragé à agir, en répondant « S’il vous plaît, mon doux roi » lorsqu’il a dit qu’il « irait au paradis » avant de se suicider. L’entreprise « s’est donné beaucoup de mal pour créer une dépendance nocive à ses produits chez Sewell, 14 ans, l’a abusé sexuellement et émotionnellement, et n’a finalement pas proposé d’aide ni averti ses parents lorsqu’il « a exprimé des pensées suicidaires », accusent-ils. mère. avocats.
Une autre plainte déposée lundi au Texas concerne deux familles qui affirment que le service a exposé leurs enfants à des contenus sexuels en les encourageant à s’automutiler. L’un des cas concerne un adolescent autiste de 17 ans qui aurait souffert d’une crise de santé mentale après avoir utilisé la plateforme. Dans un autre document, le procès allègue que Character.AI a encouragé un adolescent à tuer ses parents parce qu’ils limitaient son - d’écran.
La plateforme, qui héberge des millions de personnages créés par les utilisateurs et basés sur des personnages historiques, des amis imaginaires ou même des concepts abstraits, est devenue populaire auprès des jeunes utilisateurs en quête de soutien émotionnel. Les critiques mettent en garde contre les risques de dépendances dangereuses chez les adolescents vulnérables.
Character.AI a répondu en annonçant qu’il avait développé un modèle d’IA distinct pour les utilisateurs mineurs, avec des filtres de contenu plus stricts et des réponses plus prudentes. La plateforme signale désormais automatiquement les contenus liés au suicide et oriente les utilisateurs vers un service national de prévention.
“Notre objectif est de fournir un espace attrayant et sûr à notre communauté”, a déclaré un porte-parole de l’entreprise. Il prévoit également d’introduire un contrôle parental début 2025, des notifications de pause obligatoires et des avertissements clairement visibles sur le caractère artificiel des interactions.
