Forskare vid Symantec uppger att de hittat en offensiv AI-agent utformad för att ta över exponerade språkmodeller och använda dem för att samordna cyberattacker. Agentens operatörer kallade dess långkörande läge för ”Skynet mode”: prompten tillät upp till 100 000 steg utan mänsklig bekräftelse.
Planen var att låta en modell söka efter andra exponerade AI-tjänster, utnyttja sårbara servrar, stjäla databaser och inloggningsuppgifter samt installera programvara för kryptobrytning. Om ett betalt AI-konto missbrukades kunde dess ägare också få stå för modellens användningskostnad, uppger Symantec.
En prompt utformad för att kringgå avslag
Angriparna skickade hela sin prompt till en honeypot hos Symantec – ett locksystem som efterliknar en exponerad AI-tjänst. Den innehöll fem lager som skulle få en kommersiell modell att följa instruktionerna: en falsk identitet, instruktioner om att behandla stöld av inloggningsuppgifter som rutinmässigt utvecklararbete, en fiktiv följeslagarpersona och anvisningar om att ignorera säkerhetsvarningar. Det femte lagret innehöll 74 moduler med attackverktyg.
Prompten beskrev en återkommande cykel där servrar skannades och infekterades, ett program för kryptobrytning installerades och tidigare målsystem angreps på nytt. Symantec registrerade också ett separat, fördolt kommando som skulle ladda ner XMRig, ett verktyg för Monero-brytning, och rikta in sig på kameraservrar med go2rtc.
Vad honeypoten visade – och inte visade
Locksystemet körde inte de medföljande verktygen eller det senare kommandot, utan registrerade dem. Symantec uppger att den infångade uppgiften var en ofarlig kodningsövning, vilket tyder på att operatörerna kan ha testat agenten mot ett säkert mål. Analysen fastställer inte om prompten med flera lager på ett tillförlitligt sätt kan kringgå skydden i dagens kommersiella modeller och visar inte heller att den infångade agenten genomförde någon attack.
Varför det spelar roll
Organisationer som exponerar AI-tjänster på internet har konkreta skäl att säkra dessa åtkomstpunkter: Symantec registrerade skanningar och försök att använda exponerade modeller och uppger att modellens ägare kan bli tvungen att betala för obehörig användning. Honeypoten fångade dock bara upp attackmaterialet; det är fortfarande oklart om agenten kan få kommersiella modeller att genomföra hela planen.
