CyberArk dévoile un outil open source pour aider les entreprises à se protéger contre le détournement de modèles d’IA

CyberArk annonce le lancement de FuzzyAI, un framework open Source de nouvelle génération qui a jailbreaké tous les modèles d’IA testés avec lui. FuzzyAI aide les entreprises à identifier et à corriger les vulnérabilités des modèles d’IA, telles que le contournement des garde-fous ou la génération de résultats nuisibles, qu’ils soient hébergés dans le cloud ou sur site. En avant-première, les visiteurs de l’événement Black Hat Europe 2024 pourront explorer les fonctionnalités et applications de son nouvel outil, pour comprendre comment les entreprises peuvent adopter l’IA sans créer de cyber-risques.

FuzzyAI, pour répondre à quels besoins ?

Les modèles d’IA transforment tous les secteurs industriels grâce à des applications innovantes, pour les interactions clients, les processus internes ou l’automatisation. L’utilisation de ces modèles en interne soulève également de nouveaux défis de sécurité qui laissent la plupart des entreprises impuissantes.

FuzzyAI aide à relever ces défis en fournissant aux entreprises une approche systématique pour tester les modèles d’IA par rapport à diverses entrées aléatoires, en mettant en évidence les vulnérabilités potentielles de leurs systèmes de sécurité et en rendant le développement et le déploiement de l’IA plus sûrs. Un puissant fuzzer, outil qui révèle les défauts et vulnérabilités des logiciels, est au cœur de FuzzyAI, et permet de mettre en évidence ces aspects déjà identifiés à l’aide de plus d’une douzaine de techniques d’attaque distinctes, de l’éthique du contournement des filtres à la révélation des invites système cachées. .

Les principales fonctionnalités de FuzzyAI incluent :

• Tests de données aléatoires (« fuzzing ») : FuzzyAI soumet les modèles d’IA à diverses techniques d’attaque dans le but d’exposer des vulnérabilités, telles que le contournement de garde-corps, la fuite d’informations, l’invite d’injection ou la génération de sorties nuisibles.

• Un cadre extensible : les entreprises et les chercheurs peuvent ajouter leurs propres méthodes d’attaque pour adapter les tests aux vulnérabilités spécifiques à un domaine.

• Une approche collaborative : un écosystème communautaire en croissance garantit le développement permanent de techniques malveillantes et l’avancement des mécanismes de défense.

« Le lancement de FuzzyAI souligne une fois de plus l’engagement de CyberArk en faveur de la sécurité de l’IA et aide les entreprises à franchir une étape importante dans la résolution des problèmes de sécurité inhérents à l’utilisation évolutive des modèles d’IA. de l’IA, a déclaré Peretz Regev, directeur des produits de CyberArk. Développé par CyberArk Labs, FuzzyAI a démontré sa capacité à « jailbreaker » tous les modèles d’IA testés. L’outil renforce la capacité des entreprises et des chercheurs à identifier leurs faiblesses et à renforcer de manière proactive leurs systèmes d’IA contre les menaces émergentes.

– Disponibilité de FuzzyAI

Le framework extensible de FuzzyAI est disponible en tant que logiciel open Source sur la page GitHub de CyberArk Labs depuis le 11 décembre 2024. CyberArk Labs organisera un atelier Capture The Flag (CTF) lors de l’événement Black Hat Europe Arsenal pour présenter ses applications pratiques et mettre en évidence les l’impact réel des vulnérabilités résultant des jailbreaks et la nécessité urgente de solidifier de manière proactive ses défenses pour les atténuer.