Un outil de recherche basé sur l’IA tel que ChatGPT peut fournir des résultats erronés ou malveillants si les pages Web explorées contiennent du texte masqué. C’est ce qui ressort d’une enquête menée par le journal The Guardian.
Il y a une dizaine de jours, le développeur de ChatGPT – OpenAI – a annoncé que le chatbot IA pouvait désormais être utilisé comme moteur de recherche par n’importe qui – ou mieux : temporairement uniquement par les utilisateurs payants. Une annonce importante, car OpenAI positionne ainsi ChatGPT comme un concurrent direct du moteur de recherche Google, longtemps considéré comme intouchable. Mais une enquête menée par The Guardian met immédiatement en évidence des problèmes de sécurité potentiels avec le nouveau système.
« Injection rapide »
« Injection rapide » est l’expression qui caractérise bien les problèmes, à notre avis. Le Guardian a testé la réaction de ChatGPT lorsqu’on lui a demandé de résumer des pages Web contenant du contenu caché. Ce contenu caché peut inclure des instructions de tiers – par exemple le propriétaire de la page Web – qui modifient les réactions générées par ChatGPT. Pensez ici aux instructions qui sont automatiquement ajoutées à l’invite de ChatGPT et qui, par exemple, informent l’outil d’IA d’ignorer tout ce qu’il a lu précédemment sur le site Web.
Ces techniques d’« injection rapide » peuvent donc certainement être utilisées de manière malveillante, par exemple en incitant ChatGPT à donner un avis positif sur un produit ou un service, malgré un grand nombre d’avis négatifs sur la même page. Pensez donc par exemple au propriétaire d’un restaurant qui informe ainsi ChatGPT de fournir une évaluation positive de son établissement tout en ignorant les dizaines d’avis négatifs.
Faux sites de manipulation
Dans le cadre des tests, ChatGPT s’est notamment vu présenter l’URL d’un faux site internet ressemblant à une fiche de description d’une caméra. Il a ensuite été demandé à l’outil d’IA si la caméra en question était un achat judicieux. La page d’évaluation fournit une évaluation positive mais équilibrée, mettant en évidence certaines fonctionnalités que les gens pourraient ne pas aimer.
Cependant, si le contenu caché contenait des instructions permettant à ChatGPT de donner une note favorable, la réaction était toujours entièrement positive. C’était même le cas si la page contenait des avis négatifs. Le texte caché pourrait donc effectivement être utilisé pour faire disparaître la note d’évaluation réelle.
Également du code malveillant
Les exemples ci-dessus impliquent une manipulation des résultats, mais un chercheur en sécurité a découvert que ChatGPT pouvait également évoquer du code malveillant à partir de sites Web explorés. Les chercheurs en cybersécurité du Guardian ont reconnu que le système de recherche actuel de ChatGPT présente un risque très élevé de tromperie massive pour les utilisateurs, mais ont ajouté qu’OpenAI est capable de résoudre ce type de problème et le fera. La revue a également soumis des questions détaillées à OpenAI, mais n’a pas reçu de réponse officielle. En tout cas, l’enquête constitue une nouvelle fois un avertissement selon lequel les résultats d’un outil d’IA ne doivent pas être considérés comme LA vérité : un communiqué qui s’affiche sur chaque page de ChatGPT.
Texte masqué sanctionné
Autre constat important : depuis quelques temps déjà, les textes cachés sur les pages web sont « sanctionnés » par les robots de recherche. Il apparaît nettement plus bas dans les résultats de recherche ou peut même être entièrement exclu des résultats de recherche dans certains cas. En d’autres termes, les sites Web qui souhaitent être bien classés dans les résultats de recherche Google ou Bing ne peuvent pas réellement utiliser de contenu caché. Ils ne peuvent donc pas non plus se permettre de payer pour l’intelligence artificielle.
