Alors que les LLM trouvent leur place dans le développement logiciel, ces outils « hallucinent » parfois des composants inexistants qui pourraient exposer les entreprises à de nouveaux types de vulnérabilités. Il suffit de donner corps à un package régulièrement « inventé » par l’IA pour qu’il soit largement téléchargé, comme l’a observé un chercheur.
Les chatbots basés sur GenAI ne sont pas toujours de bons conseillers. Ils peuvent en effet « halluciner » et tromper les clients, comme l’illustre un récent verdict contre Air Canada. Il est également arrivé que des avocats citent des décisions de justice inventées par ChatGPT… Les LLM s’étant également fait une place dans le domaine du développement logiciel, leurs « hallucinations » peuvent poser de sérieux risques en matière de sécurité informatique.
Un spécialiste de la cybersécurité a récemment montré de manière assez cocasse comment détourner des éléments de code purement inventés par un assistant GenAI. Exploitée par des individus malveillants, cette méthode pourrait avoir des conséquences potentiellement graves. Bar Lanyado, chercheur chez Lasso Security, explique dans un article de blog qu’il a mené une analyse qui a révélé que les systèmes d’IA utilisés comme assistants de codage, notamment GPT-4, GPT-3.5 et Gemini, suggèrent fréquemment l’utilisation de packages et de bibliothèques de code. qui, en réalité, n’existent pas. Les programmeurs ayant reçu les mêmes suggestions des outils de support pourraient alors intégrer des dépendances sur ces composants « hallucinés » dans leur code. Cependant, le chercheur a découvert que ces faux composants sont parfois générés de manière répétée par les outils d’IA.
Le chercheur donne corps à l’hallucination
Pour illustrer ce scénario, Bar Lanyado a posé aux LLM une série de questions génériques aux développeurs. Lors de cette recherche, un package Python fictif nommé « huggingface-cli », suggéré régulièrement par les outils de support, a été identifié. “J’ai décidé de télécharger un package vide du même nom et de voir ce qui se passe”, explique le spécialiste. Les résultats ont été étonnants : en trois mois, ce faux package a été téléchargé plus de 30 000 fois. Une enquête sur GitHub a également montré que plusieurs grandes entreprises avaient utilisé ou recommandé ce package dans leurs référentiels. Notamment dans les instructions d’installation contenues dans le fichier « README » d’un répertoire édité par Alibaba.
La prudence est conseillée
Le paquet créé par le chercheur était donc vide… Mais on imagine aisément les dégâts potentiels s’il avait contenu du code malveillant. Le chercheur en cybersécurité donne des conseils pour se protéger contre ce type de scénario catastrophe. Il recommande tout d’abord de prendre des précautions lors de l’utilisation du LLM : en cas de doute sur l’exactitude d’une réponse, il est essentiel de procéder à un recoupement approfondi. Deuxièmement, une approche prudente est recommandée lors de l’utilisation de composants open Source. Face à un package inconnu, il est conseillé de consulter le référentiel pour obtenir des informations, telles que la taille de la communauté derrière le composant, l’historique de maintenance, les vulnérabilités connues et le niveau d’engagement du package. ‘objet.
> Sur le sujet : La supply chain logicielle, un nouvel objet d’attention sécuritaire
