Des chercheurs de Google ont annoncé vendredi avoir découvert la première vulnérabilité utilisant un grand modèle de langage.
Dans un article de blog, Google a déclaré qu’il pensait que ce bug était le premier exemple public d’un outil d’IA trouvant un problème de sécurité de la mémoire exploitable jusqu’alors inconnu dans des logiciels du monde réel largement utilisés.
La vulnérabilité a été trouvée dans SQLite, un moteur de base de données open Source populaire parmi les développeurs.
Les chercheurs de Google ont signalé la vulnérabilité aux développeurs SQLite début octobre, qui l’ont corrigée le même jour. Le problème a été détecté avant son apparition dans une version officielle et n’a pas affecté les utilisateurs de SQLite. Google a salué ce développement comme un exemple de « l’immense potentiel que l’IA peut avoir pour les cyberdéfenseurs ».
“Nous pensons que ces travaux ont un énorme potentiel défensif”, ont déclaré les chercheurs de Google. « Trouver des vulnérabilités dans un logiciel avant même sa sortie signifie que les attaquants n’ont aucune possibilité de rivaliser : les vulnérabilités sont corrigées avant même que les attaquants aient la chance de les utiliser. »
Cet effort fait partie d’un projet appelé Big Sleep, qui est une collaboration entre Google Project Zero et Google DeepMind. Il est issu d’un projet antérieur qui a commencé à travailler sur la recherche de vulnérabilité assistée par de grands modèles de langage.
Google a noté que lors de la conférence sur la sécurité DEFCON en août, des chercheurs en cybersécurité chargés de créer des outils de recherche sur les vulnérabilités assistés par l’IA ont découvert un autre problème dans SQLite qui a incité leur équipe à voir s’ils pouvaient trouver une vulnérabilité plus grave.
Variantes floues
De nombreuses entreprises comme Google utilisent un processus appelé « fuzzing » dans lequel le logiciel est testé en lui fournissant des données aléatoires ou invalides conçues pour identifier les vulnérabilités, déclencher des erreurs ou faire planter le programme.
Mais Google a déclaré que le fuzzing ne faisait pas assez pour « aider les défenseurs à trouver les bogues difficiles (ou impossibles) à trouver », ajoutant qu’ils « espèrent que l’IA pourra réduire cet écart ».
“Nous pensons qu’il s’agit d’une voie prometteuse pour finalement renverser la situation et obtenir un avantage asymétrique pour les défenseurs”, ont-ils déclaré.
“La vulnérabilité elle-même est assez intéressante, ainsi que le fait que l’infrastructure de test existante pour SQLite (à la fois via OSS-Fuzz et la propre infrastructure du projet) n’a pas trouvé le problème, nous avons donc mené une enquête plus approfondie.”
Google a déclaré que l’une des principales motivations de Big Sleep était le problème persistant des variantes de vulnérabilité. L’un des problèmes les plus préoccupants découverts par Google en 2022 était le fait que plus de 40 % des vulnérabilités zero-day observées étaient des variantes de vulnérabilités déjà signalées.
Plus de 20 % des bugs étaient également des variantes des précédents Zero Days, ont ajouté les chercheurs.
Google a déclaré qu’il continue de découvrir des exploits pour des variantes de vulnérabilités précédemment trouvées et corrigées.
« Alors que cette tendance se poursuit, il est clair que le fuzzing ne parvient pas à détecter de telles variantes et que pour les attaquants, l’analyse manuelle des variantes est une approche rentable », ont déclaré les chercheurs.
« Nous pensons également que cette tâche d’analyse de variantes est mieux adaptée aux LLM actuels que le problème ouvert plus général de recherche sur la vulnérabilité. En fournissant un point de départ – tel que les détails d’une vulnérabilité précédemment corrigée – nous éliminons beaucoup d’ambiguïté dans la recherche de vulnérabilité et partons d’une théorie concrète et bien fondée : « Il s’agissait d’un bug précédent ; il y en a probablement un autre similaire quelque part.
Le projet en est encore à ses débuts et ils n’utilisent que de petits programmes présentant des vulnérabilités connues pour évaluer les progrès, ont-ils ajouté.
Ils ont averti que même s’il s’agissait d’un moment de validation et de réussite pour leur équipe, ils ont réitéré qu’il s’agissait de « résultats hautement expérimentaux ».
“Lorsqu’ils disposent des bons outils, les LLM actuels peuvent effectuer des recherches sur les vulnérabilités”, ont-ils déclaré.
« La position de l’équipe Big Sleep est qu’à l’heure actuelle, il est probable qu’un fuzzer spécifique à une cible serait au moins aussi efficace (pour trouver des vulnérabilités). Nous espérons qu’à l’avenir, cet effort apportera un avantage significatif aux défenseurs – avec la possibilité non seulement de trouver des cas de tests qui échouent, mais également de fournir une analyse des causes profondes de haute qualité, le tri et la résolution des problèmes pourraient être beaucoup moins chers et plus efficace à l’avenir.
Plusieurs chercheurs en cybersécurité ont convenu que les résultats sont prometteurs. Le fondateur de Bugcrowd, Casey Ellis, a déclaré que la recherche sur les grands modèles de langage est prometteuse et a spécifiquement souligné que son utilisation sur des variantes était « vraiment intelligente ».
“Il tire parti des atouts de la manière dont les LLM sont formés, comble certaines des lacunes du fuzzing et, plus important encore, imite l’économie et la tendance au regroupement des recherches sur la sécurité dans le monde réel”, a-t-il déclaré.
