L’aube était encore loin lorsqu’Angel Cholka fut réveillé par le faisceau d’une torche électrique à sa fenêtre. Un policier était à la porte. « Est-ce que Madi vit ici ? », a-t-il demandé. D’abord confus, puis terrifié, Mmoi Cholka s’est précipitée dans la chambre de sa fille de 16 ans.
Ellen Barry
Le New York Times
M.moi Cholka ne savait pas que le logiciel d’intelligence artificielle utilisé par le district scolaire de Neosho, dans le Missouri, suivait ce que Madi écrivait sur l’ordinateur portable fourni par l’école.
Dans la nuit, Madi avait envoyé un texto à une amie pour l’informer de son intention de se suicider avec ses anxiolytiques. Une alerte a été envoyée à un responsable de l’école, qui a appelé la police. Quand Mmoi Cholka et le policier ont retrouvé Madi, elle avait déjà avalé une quinzaine de comprimés. Ils l’ont tirée du lit et l’ont transportée d’urgence à l’hôpital.
À 2 300 kilomètres de là, vers minuit, le téléphone fixe a sonné dans une maison du comté de Fairfield, dans le Connecticut, mais les parents n’ont pas répondu à -. Quinze minutes plus tard, trois policiers se présentent à la porte : ils souhaitent voir leur fille de 17 ans car un logiciel de surveillance a détecté un risque d’automutilation.
Ses parents l’ont réveillée et l’ont emmenée au salon pour que la police puisse l’interroger sur une phrase qu’elle avait tapée sur son téléphone portable à l’école. Très vite, nous avons conclu qu’il s’agissait d’une fausse alerte : il s’agissait d’un extrait d’un poème qu’elle avait écrit des années plus tôt. Mais la visite a ébranlé la jeune fille.
« Ce fut l’une des pires expériences de sa vie », raconte sa mère, qui a demandé à rester anonyme afin de pouvoir évoquer cet épisode « traumatisant » pour sa fille.
Parmi les technologies d’IA qui font leur entrée dans les écoles américaines, rares sont celles qui soulèvent autant de questions cruciales que celles visant à prévenir l’automutilation et le suicide.
Ces logiciels se sont répandus pendant la pandémie de COVID-19, après que de nombreuses écoles aient fourni des ordinateurs portables aux étudiants et soient passées au virtuel.
PHOTO GRAHAM DICKIE, LE NEW YORK TIMES
Les ordinateurs portables mis à disposition des étudiants par l’école sont équipés du logiciel Balisede GoGuardian, qui analyse ce que les étudiants écrivent à la recherche de mots-clés susceptibles d’indiquer des intentions suicidaires.
Une loi américaine impose que ces ordinateurs soient équipés de filtres pour bloquer certains contenus. Les entreprises de technologie éducative – GoGuardian, Gaggle, Lightspeed, Bark, Securly, entre autres – ont vu une opportunité de lutter contre les comportements suicidaires et d’automutilation. Ils ont intégré des outils qui analysent ce que les élèves tapent et alertent l’école s’ils semblent envisager de se faire du mal.
Des millions d’étudiants américains – près de la moitié, selon certaines estimations – sont désormais soumis à une telle surveillance. Les détails sont divulgués aux parents une fois par an, lorsqu’ils donnent leur consentement.
La plupart des systèmes identifient des mots-clés ; des algorithmes ou un examen humain déterminent quels cas sont graves. Pendant la journée, les élèves peuvent être retirés de la classe et soumis à un contrôle.
En dehors des heures de cours, si les parents ne sont pas joignables par téléphone, la police peut se rendre au domicile des élèves pour voir ce qui se passe.
On ne peut pas analyser la précision, les avantages et les inconvénients de ces alertes : les données appartiennent à des entreprises technologiques ; Les données sur chaque intervention ultérieure et ses résultats sont généralement conservées par les administrations scolaires.
Selon les parents et le personnel de l’école, les alertes permettent parfois d’intervenir à des moments critiques. Le plus souvent, ils permettent de proposer un accompagnement aux élèves en difficulté pour éviter qu’ils ne passent à l’acte.
Toutefois, les alertes peuvent avoir des conséquences inattendues, parfois néfastes. Les groupes de défense des droits affirment qu’il existe un risque pour la vie privée. Ces systèmes sont également critiqués pour mettre inutilement les étudiants en contact avec la police.
Quant aux bienfaits de cet outil pour la santé mentale, les avis sont partagés. Il existe de nombreux faux positifs, ce qui fait perdre du - au personnel et perturbe les étudiants. Dans certains districts, les visites à domicile en dehors des heures de classe ont suscité une telle controverse que les interventions se limitent désormais à la journée scolaire.
Mais dans certaines écoles, on souligne que ce logiciel aide dans une tâche très difficile : reconnaître à - les enfants qui souffrent en silence. Talmage Clubbs, directeur des services d’orientation du district scolaire de Neosho, hésitait à éteindre le système, même pendant les vacances d’été, pour des raisons morales : « C’est difficile : si vous l’éteignez, quelqu’un peut mourir. »
Briser un tabou
À Neosho, on pense que les alertes – suivies d’interventions thérapeutiques à l’école – ont contribué à briser le tabou entourant le suicide.
De 2014 à 2018, 8 de ses 5 000 étudiants se sont suicidés. Puis, pendant près de quatre ans, il n’y a eu aucun suicide (il y en a eu un en 2022 et un autre en 2024). Jim Cummins, l’ancien commissaire de l’école Neosho, est clair sur le fait que la technologie a quelque chose à voir avec cela.
« Avons-nous sauvé une vie ? Vingt vies ? Nous ne pouvons pas donner de chiffre”, a-t-il déclaré. Mais, ajoute-t-il, les statistiques sur la baisse des suicides parlent d’elles-mêmes.
Même si on remonte six ans en arrière et qu’on nous dit qu’il est impossible de prouver qu’on a sauvé une seule vie, je réponds qu’en effet, c’est impossible. Mais nous faisons tout ce que nous pouvons.
Jim Cummins, ancien commissaire de l’école Neosho
L’étudiant qui s’est suicidé en 2022 est Madi Cholka. Celui-là même qui a été sauvé par une visite nocturne de la police en 2020.
Au cours de ces années, Madi a été hospitalisée à plusieurs reprises et sa mère, Angel, a pris des mesures pour la protéger, en stockant ses médicaments et ses armes dans un coffre-fort.
L’alerte, en 2020, a permis à Mmoi Cholka pour emmener Madi aux urgences, puis dans un hôpital psychiatrique à une heure de route.
Cette hospitalisation n’a pas résolu les problèmes de Madi. Après sa libération, elle a continué à essayer de se faire du mal, mais elle a pris soin de ne plus parler de ses intentions sur son ordinateur. Elle est décédée à 17 ans, laissant derrière elle une valise préparée pour une nouvelle hospitalisation.
PHOTOS GRAHAM DICKIE, LE NEW YORK TIMES
A gauche, des cartes imprimées pour les funérailles de Madi Cholka. A droite, le pendentif avec l’empreinte digitale de Madi que sa mère porte autour du cou.
«Je suis désolée», a-t-elle écrit dans un message adressé à sa mère.
Malgré tout, Mmoi Cholka se dit reconnaissante des alertes, qui l’ont soulagée d’une partie du fardeau pendant ces années de vigilance. Elle a entendu les arguments concernant le risque pour la vie privée des étudiants et l’intrusion dans les familles : elle les écarte.
« Je sais : c’est seulement grâce à ces alertes que ma fille est restée un peu plus longtemps parmi nous. »
Cet article a été publié dans le New York Times.
Lire l’article dans sa version originale
(en anglais ; abonnement requis)
