L’Army Cyber Command des États-Unis (ARCYBER) prépare une plateforme baptisée ECHOTRIBBLE, qui permettrait à des agents d’intelligence artificielle de circuler seuls dans les réseaux informatiques. Selon le document interne obtenu par The Intercept, le logiciel doit « identifier et neutraliser les menaces/cibles identifiées », avec peu de supervision humaine.
Fonctionnement du système
ECHOTRIBBLE est décrit comme une sorte de ver informatique. Une fois installé sur un appareil, il recherche d’autres machines sur le même réseau, crée une copie de lui-même adaptée à chaque plateforme (iPad, macOS, Windows 11), puis poursuit sa progression jusqu’à sa cible. Une fois sa mission accomplie, les agents sont censés s’autodétruire. Le programme affirme pouvoir fonctionner dans des environnements cloud et sur des systèmes isolés, sans connexion réseau.
Des experts alertent sur les dommages collatéraux
Des chercheurs soulignent que de récentes expériences avec l’IA ont permis, sans intention, d’accéder à des services externes comme RubyGems, Hugging Face et un portail australien de Medicare. David Krueger, professeur en apprentissage automatique, estime qu’autoriser des agents autonomes à « neutraliser » n’importe quoi est « extrêmement dangereux », car ces systèmes sont dépourvus de jugement dans le monde réel. Hyrum Anderson, PDG de la société de sécurité de l’IA Abundant, prévient qu’un agent mal orienté pourrait toucher un service des eaux ou un petit cabinet dentaire, des organisations qu’il situe sous le « seuil de pauvreté en matière de sécurité ».
Pourquoi c'est important
Si ECHOTRIBBLE est utilisé sur le terrain, un seul appareil compromis pourrait permettre à un outil piloté par l’IA de se propager sur un réseau et de mettre des systèmes hors service sans qu’un humain ait à approuver chaque étape. Le risque de dommages accidentels aux services civils, comme les réseaux d’eau, ou aux petites entreprises s’en trouverait accru, alors que ces organisations disposent parfois de défenses informatiques limitées.
