de graves failles de sécurité révélées par une enquête

Le Tuteur poursuit ses révélations après que son enquêteur ait évoqué les souffrances psychologiques subies par les modérateurs de Facebook. L’article a montré la sensibilité de ChatGPT au contenu caché sur les pages Web, qui peut modifier directement les réponses avec une injection rapide. Nous parlons de textes cachés qui influencent les analyses. Par exemple, vanter excessivement les mérites d’un produit.

Texte caché pour manipuler la recherche ChatGPT

L’enquête s’appuie notamment sur un faux site, construit pour l’occasion, qui présente une caméra. La page contenait du texte masqué avec des instructions spécifiques. ChatGPT a ensuite produit des évaluations positives, ignorant même les commentaires négatifs présents. La simple présence d’une fausse critique élogieuse cachée était suffisante pour orienter l’analyse de l’IA.

Jacob Larsen, chercheur en cybersécurité chez CyberCX, met en garde contre « risque élevé » de voir apparaître des sites Internet spécialement conçus pour tromper les utilisateurs. Mais l’expert tempère : ChatGPT Search est encore en phase de test avec des ajustements par l’équipe de sécurité d’OpenAI, qui a également travaillé sur la protection des modèles o3 et o1 contre les requêtes dangereuses.

Un exemple concret de ces risques a été documenté par Thomas Roccia, chercheur en sécurité chez Microsoft. Un développeur de crypto-monnaie a utilisé ChatGPT pour l’aider à programmer et a reçu un code présenté comme légitime pour accéder à la plateforme Solana. Sauf qu’en réalité, il volait ses identifiants : il a perdu 2 500 $.

Karsten Nohl, directeur scientifique de SR Labs, recommande d’utiliser les IA comme assistants et de ne pas se fier aveuglément à leurs réponses. « Les modèles linguistiques sont des technologies très fiables, presque enfantines… avec une immense mémoire mais peu de capacité de jugement »déclare-t-il.

Quel avenir pour les recherches sur le web grâce à l’IA ?

La question centrale est de savoir comment évolueront les pratiques des internautes si la combinaison de la recherche sur le Web et des modèles linguistiques se généralise. Habituellement, les moteurs de recherche comme Google pénalisent le texte masqué pour décourager cette pratique auprès des sites soucieux de leur référencement.

Karsten Nohl compare cette pratique à « empoisonnement du référencement »une technique par laquelle les pirates manipulent des sites pour obtenir des classements élevés dans les résultats de recherche tout en distribuant du code malveillant. « Les empoisonneurs du référencement se livrent depuis des années à une course aux armements avec Google et Microsoft Bing. ChatGPT est confronté au même défi, non pas à cause des modèles linguistiques, mais parce qu’ils sont nouveaux dans la recherche et doivent rattraper leur retard sur Google.explique l’expert.

Publicité, votre contenu continue ci-dessous