La plateforme de chatbot Character.ai revoit son fonctionnement pour les adolescents, promettant qu’elle deviendra un espace « sûr » avec des contrôles supplémentaires pour les parents.
Le site fait face à deux procès aux États-Unis – l’un pour la mort d’un adolescent – et a été qualifié de «danger clair et présent» aux jeunes.
Il affirme que la sécurité sera désormais « infusée » dans tout ce qu’elle fait grâce à de nouvelles fonctionnalités qui indiqueront aux parents comment leur enfant utilise la plateforme – y compris combien de - ils passent à parler aux chatbots et à ceux avec qui ils parlent le plus.
La plateforme – qui permet aux utilisateurs de créer des personnalités numériques avec lesquelles ils peuvent interagir – obtiendra sa « première itération » de contrôle parental d’ici fin mars 2025.
Mais Andy Burrows, directeur de la Fondation Molly Rose, a qualifié cette annonce de « réponse tardive, réactive et totalement insatisfaisante » qui, selon lui, « semble être une solution à leurs problèmes fondamentaux de sécurité ».
“Ce sera un premier test pour l’Ofcom pour se familiariser avec des plateformes comme Character.ai et prendre des mesures contre leur échec persistant à s’attaquer aux dommages totalement évitables”, a-t-il déclaré.
Caractère.ai a été critiqué en octobre lorsque des versions chatbot des adolescentes Molly Russell et Brianna Ghey ont été trouvées sur la plateforme.
Et les nouveaux dispositifs de sécurité surviennent alors qu’il fait face à des poursuites judiciaires aux États-Unis en raison de préoccupations concernant la manière dont il a géré la sécurité des enfants dans le passé. avec une famille réclamant un chatbot a déclaré à un jeune de 17 ans que le meurtre de ses parents était une « réponse raisonnable » à leur limitation du - passé devant un écran.
Les nouvelles fonctionnalités incluent l’envoi d’une notification aux utilisateurs après avoir parlé à un chatbot pendant une heure et l’introduction de nouvelles clauses de non-responsabilité.
Les utilisateurs recevront désormais des avertissements supplémentaires indiquant qu’ils parlent à un chatbot plutôt qu’à une personne réelle – et qu’ils traiteront ce qu’il dit comme de la fiction.
Et il ajoute des clauses de non-responsabilité supplémentaires aux chatbots qui prétendent être des psychologues ou des thérapeutes, pour indiquer aux utilisateurs de ne pas compter sur eux pour obtenir des conseils professionnels.
L’expert des médias sociaux Matt Navarra a déclaré qu’il pensait que la décision d’introduire de nouvelles fonctionnalités de sécurité “reflète une reconnaissance croissante des défis posés par l’intégration rapide de l’IA dans notre vie quotidienne”.
“Ces systèmes ne se contentent pas de fournir du contenu, ils simulent des interactions et des relations qui peuvent créer des risques uniques, notamment en matière de confiance et de désinformation”, a-t-il déclaré.
« Je pense que Character.ai s’attaque à une vulnérabilité importante, le potentiel d’utilisation abusive ou pour les jeunes utilisateurs de rencontrer du contenu inapproprié.
“C’est une décision intelligente, qui reconnaît l’évolution des attentes en matière de développement responsable de l’IA.”
Mais il a déclaré que même si les changements étaient encourageants, il souhaitait voir comment les garanties résistent à mesure que Character.ai continue de croître.
Belgique
