Un matin d’octobre, près de dix-huit ans après le meurtre de sa fille Jennifer, Drew Crecente a reçu une alerte Google signalant ce qui semblait être un nouveau profil en ligne d’elle. L’écran affiche le nom complet de Jennifer et une photo de son annuaire. Une courte biographie la décrit, à tort, comme une « journaliste de jeux vidéo et expert en technologie, culture pop et journalisme ». Jennifer, tuée par son ex-petit-ami en 2006, alors qu’elle était au lycée, a été visiblement recréée sous la forme d’un “Caractère IA, sympathique et compétent”, selon le site. Un gros bouton encourage les utilisateurs à discuter avec elle.
« Mon cœur battait à tout rompre » se souvient Drew Crecente, interviewé par Le Washington Post. “Je cherchais juste un énorme bouton rouge sur lequel appuyer pour que tout s’arrête.” Le nom et l’image de Jennifer ont été utilisés pour créer un chatbot sur Character.AI, une plateforme qui permet aux utilisateurs de converser avec des personnalités numériques générées par l’intelligence artificielle. Plusieurs personnes ont interagi avec la version numérique de Jennifer, créée par un utilisateur du site, selon une capture d’écran de son profil, supprimée depuis.
Depuis la mort de sa fille, Drew Crecente, qui consacre sa vie à son association destinée à prévenir les violences dans les relations adolescentes, se dit horrifié que Character permette à un utilisateur de créer sans lui une réplique d’une lycéenne assassinée. autorisation de sa famille. Les experts affirment que l’incident soulève des questions sur la capacité – ou la volonté – de l’industrie de l’IA à protéger les utilisateurs contre les dangers potentiels liés à l’exploitation de données personnelles sensibles. “Il en faut beaucoup pour me choquer, car j’ai vraiment vécu des choses terribles, assure Drew Crecente. Mais là, nous avons franchi une nouvelle limite.
La porte-parole du personnage, Kathryn Kelly, a déclaré que la société supprimait les chatbots qui violaient ses conditions d’utilisation et qu’elle « améliore continuellement ses pratiques de sécurité pour protéger sa communauté ». “Dès que nous avons entendu parler du chatbot de Jennifer, nous avons examiné le contenu et le compte et pris des mesures conformément à nos politiques”a déclaré dans un communiqué. Les conditions d’utilisation de la société interdisent aux utilisateurs de se faire passer pour une personne ou une entité.
Un sergent, un bibliothécaire ou une imitation d’Elon Musk
Les chatbots IA peuvent mener des conversations et être programmés pour adopter la personnalité et les détails biographiques de personnages spécifiques, réels ou fictifs. Leur popularité croissante sur Internet provient du marketing des sociétés d’IA qui les présentent comme des amis, des mentors ou des partenaires amoureux. Mais cette technologie n’est pas sans controverse. En 2023, un Belge s’est suicidé après avoir été incité à passer à l’action par un chatbot.
Character, qui a signé cette année un accord de 2,5 milliards de dollars pour fournir ses modèles d’IA à Google, est l’un des plus grands acteurs du secteur. La société propose plusieurs chatbots conçus en interne, mais permet également aux utilisateurs de créer et de partager leurs propres robots IA en téléchargeant des photos, des enregistrements vocaux et de courtes descriptions écrites. Son catalogue comprend un sergent bourru agissant comme entraîneur personnel, un bibliothécaire qui recommande des livres et des imitations de célébrités comme le rappeur Nicki Minaj et l’entrepreneur Elon Musk.
“Je n’ai pas les mots pour décrire cette douleur”
C’était le dernier endroit où Drew Crecente s’attendait à voir sa fille, près de vingt ans après son meurtre qui a choqué la ville d’Austin et bouleversé sa vie. Jennifer Crecente, alors âgée de 18 ans, a disparu en février 2006 et a été retrouvée abattue quelques jours plus tard dans les bois près de chez elle. Les enquêteurs ont déterminé que son ex-petit ami, également âgé de 18 ans, l’avait attirée dans les bois et l’avait tuée avec un fusil de chasse, selon Drew Crecente et le Austin, homme d’État américain. Il avait été reconnu coupable de son meurtre.
Ce drame avait consumé Drew Crecente et Elizabeth Crecente, la mère de Jennifer. Les parents, divorcés, ont fondé chacun des associations au nom de leur fille pour lutter contre les violences entre adolescents. Ils ont également milité contre la libération conditionnelle du meurtrier de la jeune fille, condamné à trente-cinq ans de prison. Drew Crecente, qui vit maintenant à Atlanta, a gardé la chambre de Jennifer intacte et l’a reconstruite dès qu’il a déménagé, a-t-il déclaré. “Je n’ai pas vraiment les mots pour décrire cette douleur.”
En raison de son travail pour son organisation à but non lucratif, Drew Crecente maintient une alerte Google active pour suivre les mentions du nom de sa fille en ligne au fil des ans. Parfois, son nom réapparaît sur des sites de spam ou dans des articles rappelant les faits de son affaire. Mais le 2 octobre, l’alerte l’a conduit à la page Personnage affichant le nom et la photo de Jennifer. Drew Crecente n’a pas compris au début. Plus il regardait, plus il se sentait mal à l’aise. Sans oublier que la page du chatbot la décrivait comme une journaliste passionnée de jeux vidéo et au courant des dernières actualités en matière de divertissement.
Drew Crecente a immédiatement vu que cette description ne correspondait pas à la personnalité ou aux intérêts connus de Jennifer, et qu’il s’agissait probablement d’une confusion générée par l’IA. Mais l’idée que Character hébergeait, et pourrait même en tirer profit, un chatbot utilisant le nom de sa fille l’a traumatisé : “On ne peut pas aller beaucoup plus loin dans l’horreur.”
L’IA imite la voix et l’apparence d’enfants disparus qui racontent leur propre mort
Drew Crecente n’a pas engagé de conversation avec le chatbot portant le nom de sa fille, ni cherché à en savoir plus sur l’utilisateur qui l’a créé, dont le pseudonyme ne lui disait rien. Il a immédiatement envoyé un email à Character pour demander la suppression de ce profil. Brian Crecente, frère de Jennifer et ancien journaliste, fondateur du site de jeux vidéo Ma ville a également évoqué cette découverte sur X. Le 2 octobre dernier, Character annonçait sur les réseaux sociaux la suppression du personnage. La porte-parole du personnage, Kathryn Kelly, a confirmé que les conditions d’utilisation de l’entreprise interdisent l’usurpation d’identité et que l’entreprise modère son service en utilisant des listes noires et en détectant de manière proactive les violations. .
Interrogée sur les autres chatbots du site qui imitent des personnalités publiques, Kathryn Kelly a précisé que “Les rapports d’usurpation d’identité sont examinés par notre équipe Confiance et Sécurité, et le personnage est supprimé s’il enfreint nos conditions d’utilisation”. Jen Caltrider, chercheuse en protection des données à la Fondation Mozilla, a critiqué la modération de l’entreprise comme étant trop passive dans le cas de Drew Crecente, même si le contenu violait clairement ses propres règles. “S’ils disent ‘nous n’autorisons pas cela sur notre plateforme’, mais l’autorisons jusqu’à ce que quelqu’un, qui a été blessé par cela, leur fasse rapport, ce n’est pas acceptable. » a déclaré Jen Caltrider. Et en attendant, ils gagnent des millions.
Rick Claypool, qui a étudié les chatbots IA pour le groupe de défense des consommateurs Citoyen publica souligné que même si les lois régissant le contenu en ligne pourraient s’appliquer aux sociétés d’IA, elles ont jusqu’à présent largement échappé à une réglementation stricte. Drew Crecente n’est pas le premier parent en deuil à voir les informations personnelles de son enfant manipulées par l’IA : sur TikTok, des créateurs de contenu ont utilisé l’intelligence artificielle pour imiter la voix et l’apparence d’enfants disparus et ont réalisé des vidéos dans lesquelles ils racontaient leur propre mort, suscitant l’indignation des familles. , a rapporté La poste l’année dernière. « Il est urgent que les législateurs et les régulateurs prêtent attention aux véritables impacts de ces technologies sur leurs concitoyens, » a déclaré Rick Claypool. Ils ne peuvent pas se contenter d’écouter les PDG du secteur technologique sur la manière d’établir une politique… Ils doivent prêter attention aux familles et aux individus qui ont été blessés.
Cette épreuve a tellement bouleversé Drew Crecente – qui avait réussi à faire adopter des lois au Texas sur la violence dans les relations adolescentes après le meurtre de Jennifer – qu’il a accepté de se battre pour une nouvelle cause. Il envisage des changements juridiques et souhaite plaider plus activement en faveur de mesures visant à empêcher les sociétés d’IA de nuire ou de traumatiser à nouveau les familles d’autres victimes. “Cela me préoccupe tellement que je vais probablement passer du temps à déterminer ce qui doit être fait pour changer cela.” » a déclaré Drew Crecente.
Article original de Daniel Wu, publié le 15 octobre 2024 dans le « Washington Post »
Cet article publié dans le « Washington Post » a été sélectionné par « Libération ». Il a été traduit à l’aide d’outils d’intelligence artificielle, sous la supervision de nos journalistes, puis édité par la rédaction.
