Oossa

Symantec découvre un agent IA conçu pour mener des cyberattaques

Un pot de miel a capturé le prompt d’un agent conçu pour détourner des modèles d’IA exposés et mener des attaques en jusqu’à 100 000 étapes. Symantec n’a pas exécuté ses outils.

Par Publié par Oossa: 1 min de lecture

Steve A Johnson · Unsplash

Des chercheurs de Symantec affirment avoir découvert un agent IA offensif conçu pour prendre le contrôle de modèles de langage exposés et les utiliser afin de coordonner des cyberattaques. Ses opérateurs ont baptisé son mode de fonctionnement prolongé « Skynet mode » : le prompt l’autorisait à enchaîner jusqu’à 100 000 étapes sans confirmation humaine.

Le plan consistait à faire rechercher par un modèle d’autres services d’IA exposés, exploiter des serveurs vulnérables, voler des bases de données et des identifiants, puis installer un logiciel de minage de cryptomonnaies. Si un compte d’IA payant était détourné, son propriétaire pourrait également se retrouver à payer la facture d’utilisation du modèle, indique Symantec.

Un prompt conçu pour contourner les refus

Les attaquants ont envoyé leur prompt complet à un pot de miel de Symantec, un système leurre qui imite un service d’IA exposé. Il comprenait cinq couches destinées à obtenir l’obéissance d’un modèle commercial : une fausse identité, des consignes présentant le vol d’identifiants comme une tâche ordinaire de développeur, un personnage fictif qui l’accompagne et des instructions lui demandant d’ignorer les avertissements de sécurité. La cinquième couche contenait 74 modules d’outils d’attaque.

Le prompt décrivait un cycle répétitif : rechercher des cibles, infecter des serveurs, installer un logiciel de minage de cryptomonnaies et revenir sur des systèmes déjà ciblés. Symantec a également enregistré une commande distincte, obfusquée, qui devait télécharger XMRig, un outil de minage de Monero, et cibler des serveurs de caméras utilisant go2rtc.

Ce que le pot de miel a montré — et ce qu’il n’a pas montré

Le leurre n’a pas exécuté les outils intégrés ni la commande transmise ensuite ; il les a enregistrés. Selon Symantec, la tâche capturée était un exercice de programmation inoffensif, ce qui laisse penser que les opérateurs testaient peut-être l’agent sur une cible sans danger. L’analyse ne permet pas d’établir si le prompt à plusieurs couches peut contourner de manière fiable les protections des modèles commerciaux actuels, ni de démontrer que l’agent capturé a mené une attaque à bien.

Pourquoi c'est important

Les organisations qui exposent des services d’IA à Internet ont une raison concrète de sécuriser ces points d’accès : Symantec a enregistré des analyses et des tentatives d’utilisation de modèles exposés, et indique que leur propriétaire pourrait devoir payer pour une utilisation non autorisée. Mais le pot de miel n’a fait que capturer les éléments de l’attaque ; on ignore toujours si cet agent peut amener des modèles commerciaux à exécuter l’ensemble du plan.

Cet article vous a-t-il été utile ?
Partager

À lire ensuite

Oossa · Newsletter

La semaine de l'IA, expliquée

Chaque lundi : l'essentiel de l'actualité, en langage clair. Gratuit, sans spam.