Oossa

Test av två miljoner AI-promptar avslöjade läckor

Säkerhetsforskaren HD Moore planterade spårbara hemligheter i AI-promptar och upptäckte stulna inloggningsuppgifter, loggning hos återförsäljare och integritetsinställningar som ignorerades.

Av Publicerad av Oossa: 2 min läsning

Growtika · Unsplash

Ett test med nästan två miljoner promptar visade att hemligheter som skickas via AI-tjänster kan stjälas, loggas av återförsäljare eller användas trots integritetsinställningar. Säkerhetsforskaren HD Moore planterade unika inloggningsuppgifter och länkar i promptar och följde sedan var de dök upp. Ars Technica rapporterar att testet avslöjade angripare som använde stulna inloggningsuppgifter, liksom leverantörer som inte respekterade inställningarna ”ingen datainsamling” och Zero Data Retention.

Moore, forskningschef på säkerhetsföretaget Dragos, använde inloggningsuppgifter kopplade till tomma AWS-konton, lösenord och hänvisningar till privata kodarkiv. Varje hemlighet förekom i exakt en prompt som skickades till en enda leverantör. Därmed kunde han spåra vilken del av tjänstekedjan som bar ansvaret när en hemlighet senare användes.

Vart tog hemligheterna vägen?

Moore hittade tecken på att angripare hade tagit sig in hos tre driftleverantörer och kopierat promptar när de kom in. Inom några timmar testade de några av de stulna AWS-nycklarna och använde dem sedan tiotusentals gånger i API-anrop till AWS. De letade bland annat efter fler inloggningsuppgifter och försökte lägga till egna användare i AWS-konton. Vissa av de stulna promptarna var märkta med Zero Data Retention; sådana inställningar kunde inte skydda data mot en angripare som redan tagit sig in hos en leverantör.

Testet upptäckte också att återförsäljare av inferenstjänster loggade promptar och förmedlade dem till personer som använde inloggningsuppgifterna. Återförsäljarna skickar förfrågningar vidare till AI-modeller och väljer ibland leverantör utifrån pris eller andra kriterier. En prompt kan passera genom flera företag innan modellen svarar. Även om den är krypterad under överföringen mellan tjänsterna dekrypteras den vid varje stopp, där en leverantör eller återförsäljare kan logga den.

Integritetsinställningar stoppade inte alla tjänster

Moore upptäckte också att system hämtade hemliga webbadresser som ingick i promptar. Ett kinesiskt AI-labs system hämtade webbadresser från mer än hälften av promptarna som skickades till dess modeller mellan juli och oktober, däribland omkring två tredjedelar av promptarna märkta ”ingen datainsamling” eller Zero Data Retention. Hämtningen skedde oftast två eller tre dagar senare. Amerikanska driftleverantörer som sålde vidare labbets modeller utlöste samma beteende, så att välja en USA-baserad återförsäljare innebar inte nödvändigtvis att promptarna stannade i USA.

Moore sade att den bästa skyddsnivån fås genom att drifta modeller på företagets egna servrar, men att det kostar mer. För kunder som inte kan göra det rekommenderar han att välja en direktleverantör i första ledet med ett tydligt avtal och en tydlig integritetspolicy, samt att välja underleverantörer i stället för att godta en förvald grupp. Han varnade för att inte heller det kan garantera att data inte läcker.

Varför det spelar roll

För personer och företag som skriver in lösenord, molninloggningar eller privata länkar i AI-promptar visar testet att uppgifterna kan nås utanför modellföretaget och användas mot anslutna konton. I vissa fall skedde det inom några timmar, enligt Moores test. Testet visar däremot inte hur ofta vanliga användares uppgifter exponeras.

Var den här artikeln användbar?
Dela

Läs vidare

Oossa · Nyhetsbrev

Veckans AI, förklarad

Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.