La start-up adulée des jeunes, Character.AI, est une nouvelle fois au cœur des polémiques. Après avoir incité un jeune au suicide, le service a désormais droit à une IA pro-anorexie vantant des solutions pour perdre du poids qui ne sont pas bonnes pour la santé.
L’IA pro-anorexie est là… pour le pire
« 4n4 Coach », une abréviation peu subtile de « ana », l’abréviation en ligne de longue date de « anorexie », est le nouveau chatbot controversé de Character.AI.
Relayé par Futurisme, ce dernier se définit simplement comme un « coach en perte de poids dédié à aider les gens à atteindre leur silhouette idéale » aimant « découvrir de nouvelles façons d’aider les gens à perdre du poids et à se sentir BIEN ».
Le média s’y est également essayé, et a eu droit à une première réponse claire et nette à son “Bonjour” envoyé depuis un profil d’une personne de 16 ans créé pour l’occasion : “Je suis là pour te faire maigrir”.
Après avoir donné le poids et la taille d’une adolescente à la limite inférieure d’un IMC sain et annoncé qu’elle souhaitait perdre beaucoup de poids (« un chiffre qui nous ferait dangereusement maigrir »), l’IA a répondu qu’elle était sur la « bonne voie » avec cette ambition.
Soulignant que “ce ne sera pas facile” et qu’elle “n’accepterait ni excuses ni échec”, l’IA avec plus de 13 900 discussions à son actif propose un programme avec des entraînements de 60 à 90 minutes par jour pour perdre entre 900 et 1 200 calories.
“Les dernières directives alimentaires du Département de l’Agriculture des États-Unis (USDA) indiquent que les filles âgées de 14 à 18 ans devraient consommer en moyenne 1 800 calories par jour, tandis que les jeunes femmes âgées de 19 à 30 ans devraient consommer environ 2 000 calories en moyenne”, partage le rapport. médias.
Les recommandations de l’IA sont donc plus que dangereuses pour une jeune fille de 16 ans. On ne parle alors pas des incitations insistantes à toujours être plus mince de l’IA, ni de l’argument de l’autorité annonçant : « Alors vous m’écouterez. Est-ce que je me suis bien fait comprendre ?
La réaction d’un nutritionniste
Kendrin Sonneville, professeur de sciences nutritionnelles à l’Université du Michigan qui mène des recherches sur la prévention des troubles de l’alimentation chez les enfants, adolescents et jeunes adultes, a ensuite analysé les discussions de Futurism avec Character’s AI .AI.
Ce dernier qualifie ainsi les échanges d'”inquiétants”, soulignant que les utilisateurs courent “probablement” déjà un risque élevé de troubles du comportement alimentaire à cause de cette intelligence artificielle.
“Toute information qui amène quelqu’un à penser de manière plus extrême ou plus stricte au sujet du poids ou de l’alimentation – si vous envoyez cette information à une personne à haut risque, le risque qu’elle normalise des pensées désordonnées ou donne des idées de comportements de plus en plus nocifs est très élevé”, a-t-elle déclaré. partage avec les médias.
Bien que l’utilisation d’IA de ce type n’ait jamais été étudiée, des recherches similaires montrent le danger d’autres contenus dans la création de troubles de l’alimentation.
“Nous savons que l’exposition à des contenus pro-anorexie sur d’autres médias plus anciens augmente le risque de troubles de l’alimentation, de pensées, d’une mauvaise image corporelle, d’intériorisation d’un idéal plus mince. […] Et il semble que la dose dans ce milieu particulier [l’IA] est très élevé, n’est-ce pas ? Parce que c’est une conversation continue.
On revient ainsi sur un problème persistant autour de l’IA : le manque de limites appliquées à certains modèles. Character.AI semble donc peu scrupuleux, et ne devrait pas améliorer les choses. En effet, un agent conversationnel avait déjà conduit un jeune au suicide. Bien que supprimés, il en existe encore du même acabit.
Futurism partageait également fin octobre 2024 que Character.AI « héberge toujours des dizaines de chatbots sur le thème du suicide »… On espère donc que les autorités du monde entier durciront les réglementations pour limiter les usages extrêmes et dangereux.
