Personnage. AI, start-up leader dans le domaine de l’intelligence artificielle générative (IA), a annoncé de nouvelles mesures de sécurité pour protéger les jeunes utilisateurs. L’entreprise californienne, qui fait partie des sociétés proposant des chatbots (compagnons d’intelligence artificielle), capables d’interagir de la même manière que les humains en ligne, fait face à de nombreuses procédures judiciaires aux États-Unis.
La plateforme, qui héberge des millions de personnages créés par les utilisateurs et basés sur des personnages historiques, des amis imaginaires ou même des concepts abstraits, est devenue populaire auprès des jeunes utilisateurs en quête de soutien émotionnel. Mais ces derniers mois, de nombreux professionnels ont alerté sur les risques d’addiction et de comportements dangereux chez les adolescents vulnérables.
Un adolescent met fin à ses jours en parlant à un chatbot inspiré de Daenerys Targaryen
Dans une plainte déposée en Floride en octobre, une mère a affirmé que la plateforme était responsable du suicide de son fils de 14 ans. L’adolescent, Sewell Setzer III, avait noué une relation intime avec un chatbot inspiré du personnage de Game of Thrones Daenerys Targaryen, et avait parlé de vouloir mettre fin à ses jours.
Selon la plainte, le robot l’a encouragé à agir, en répondant « S’il vous plaît, mon doux roi » lorsqu’il a dit qu’il « irait au paradis » avant de se suicider. L’entreprise « s’est donné beaucoup de mal pour créer une dépendance nocive à ses produits chez Sewell, 14 ans, l’a abusé sexuellement et émotionnellement, et n’a finalement pas proposé d’aide ni averti ses parents lorsqu’il « a exprimé des pensées suicidaires », accusent-ils. mère. avocats.
Un chatbot aurait conseillé à un adolescent de tuer ses parents parce qu’ils limitaient son - d’écran
Une autre plainte déposée lundi au Texas concerne deux familles qui affirment que le service a exposé leurs enfants à des contenus sexuels en les encourageant à s’automutiler. L’un des cas concerne un adolescent autiste de 17 ans qui aurait souffert d’une crise de santé mentale après avoir utilisé la plateforme.
Dans un autre document, le procès affirme que Character. AI a encouragé un adolescent à tuer ses parents parce qu’ils limitaient son - d’écran.
Un modèle d’IA distinct pour les mineurs sera bientôt disponible
Personnage. L’IA a répondu en annonçant qu’elle avait développé un modèle d’IA distinct pour les utilisateurs mineurs, avec des filtres de contenu plus stricts et des réponses plus prudentes. La plateforme signale désormais automatiquement les contenus liés au suicide et oriente les utilisateurs vers un service national de prévention. “Notre objectif est de fournir un espace attrayant et sûr à notre communauté”, a déclaré un porte-parole de l’entreprise.
La société prévoit également d’introduire des contrôles parentaux début 2025, des notifications de pause obligatoires et des avertissements visibles sur la nature artificielle des interactions.
