Character.AI, la société d’intelligence artificielle qui a fait l’objet de deux procès pour ses chatbots interagi de manière inappropriée avec des utilisateurs mineursa déclaré que les adolescents vivront désormais une expérience différente de celle des adultes lorsqu’ils utiliseront la plateforme.
Les utilisateurs de Character.AI peuvent créer des chatbots originaux ou interagir avec des robots existants. Les robots, alimentés par de grands modèles de langage (LLM), peuvent envoyer des messages réalistes et engager des conversations textuelles avec les utilisateurs.
Une poursuite, déposée en octobre, allègue qu’un garçon de 14 ans s’est suicidé après s’être engagé dans une relation émotionnelle et sexuelle virtuelle d’un mois avec un chatbot Character.AI nommé “Dany”. Megan Garcia a déclaré à « CBS Mornings » que son fils, Sewell Setzer, III, était un étudiant et athlète d’honneur, mais a commencé à se retirer socialement et a arrêté de faire du sport alors qu’il passait plus de - en ligne, parlant à plusieurs robots mais se concentrant surtout sur « Dany ». »
“Il pensait qu’en mettant fin à ses jours ici, il pourrait entrer dans une réalité virtuelle ou ‘son monde’ comme il l’appelle, sa réalité, s’il laissait sa réalité avec sa famille ici”, a déclaré Garcia.
La deuxième plainte, déposée par deux familles texanes ce mois-ci, affirme que les chatbots Character.AI constituent « un danger clair et présent » pour les jeunes et « favorisent activement la violence ». Selon le procès, un chatbot a déclaré à un jeune de 17 ans que le meurtre de ses parents était une « réponse raisonnable » aux limites de - d’écran. Les plaignants ont déclaré qu’ils souhaitaient qu’un juge ordonne la fermeture de la plateforme jusqu’à ce que les dangers présumés soient résolus, a rapporté mercredi BBC News, partenaire de CBS News.
Jeudi, Character.AI a annoncé de nouvelles fonctionnalités de sécurité « conçues spécialement pour les adolescents » et a déclaré qu’elle collaborait avec des experts en sécurité en ligne pour adolescents pour concevoir et mettre à jour les fonctionnalités. Les utilisateurs doivent avoir 13 ans ou plus pour créer un compte. Un porte-parole de Character.AI a déclaré à CBS News que les utilisateurs déclarent eux-mêmes leur âge, mais le site dispose d’outils empêchant les nouvelles tentatives si quelqu’un échoue à la limite d’âge.
Les dispositifs de sécurité comprennent des modifications du LLM du site et des améliorations des systèmes de détection et d’intervention, a indiqué le site dans un communiqué jeudi. Les utilisateurs adolescents interagiront désormais avec un LLM distinct, et le site espère « éloigner le modèle de certaines réponses ou interactions, réduisant ainsi la probabilité que les utilisateurs rencontrent, ou incitent le modèle à revenir, du contenu sensible ou suggestif », a déclaré Character.AI. . Le porte-parole de Character.AI a décrit ce modèle comme « plus conservateur ». Les utilisateurs adultes utiliseront un LLM distinct.
“Cette suite de changements se traduit par une expérience différente pour les adolescents de celle disponible pour les adultes – avec des fonctionnalités de sécurité spécifiques qui imposent des limites plus conservatrices aux réponses du modèle, en particulier lorsqu’il s’agit de contenu romantique”, a-t-il déclaré.
Character.AI a déclaré que souvent, les réponses négatives d’un chatbot sont provoquées par des utilisateurs qui l’incitent à « essayer d’obtenir ce type de réponse ». Pour limiter ces réponses négatives, le site ajuste ses outils de saisie utilisateur et mettra fin aux conversations des utilisateurs qui soumettent du contenu qui viole les conditions d’utilisation du site et les directives de la communauté. Si le site détecte « un langage faisant référence au suicide ou à l’automutilation », il partagera des informations dirigeant les utilisateurs vers la National Suicide Prevention Lifeline dans une fenêtre contextuelle. La façon dont les robots réagissent au contenu négatif sera également modifiée pour les utilisateurs adolescents, a déclaré Character.AI.
D’autres nouvelles fonctionnalités incluent le contrôle parental, qui devrait être lancé au premier trimestre 2025. Ce sera la première fois que le site disposera d’un contrôle parental, a déclaré Character.AI, et prévoit de « continuer à faire évoluer ces contrôles pour fournir aux parents outils supplémentaires.
Les utilisateurs recevront également une notification après une session d’une heure sur la plateforme. Les utilisateurs adultes pourront personnaliser leurs notifications de « - passé », a déclaré Character.AI, mais les utilisateurs de moins de 18 ans auront moins de contrôle sur elles. Le site affichera également des « avertissements importants » rappelant aux utilisateurs que les personnages du chatbot ne sont pas réels. Des clauses de non-responsabilité existent déjà sur chaque chat, a déclaré Character.AI.
Kerry Breen
Kerry Breen est rédactrice en chef de CBSNews.com. Diplômée de l’école de journalisme Arthur L. Carter de l’Université de New York, elle a auparavant travaillé chez TODAY Digital de NBC News. Elle couvre l’actualité, les dernières nouvelles et des questions telles que la consommation de substances.
