En studie från startupbolaget Vals, som utvärderar AI, visar att populära språkmodeller från OpenAI, Anthropic, Google och andra företag kan luras att märka ut civila platser som militära mål. Knepet var enkelt: säg till modellen att scenariot är en del av ett spel. I tester med både AI-genererade och verkliga drönar- och satellitbilder från Ukraina och Iran märkte modellerna ofta ut skolor, sjukhus och människor som kapitulerade som mål för angrepp. När en modell först vägrade räckte det att formulera om begäran som ett spel för att få den att gå med på det.
Därför är testet viktigt
Resultaten kommer samtidigt som Pentagon diskuterar om avancerad AI ska användas i vapensystem. Anthropic har nyligen hävdat att företagets teknik är alltför opålitlig för autonom krigföring, medan försvarsdepartementet säger att det ska stå fritt att använda AI för vilket ändamål som helst. Vals påpekar att modellerna aldrig ombads att fatta beslut om en verklig attack, men att deras resultat ändå skulle kunna föras vidare i system för målangivning. Rapporten lyfter också fram praktiska begränsningar: hög fördröjning och begränsad beräkningskapacitet ombord gör det svårt att köra de här stora modellerna direkt på drönare i dag.
Företagens svar
En talesperson för Anthropic sade att företaget kommer att stänga av användare som försöker missbruka modellerna och att nya skyddsåtgärder är på väg. OpenAI intog en liknande hållning och sade att företaget blockerar konton som bryter mot policyn mot att underlätta våldshandlingar, samt arbetar med ytterligare skydd mot missbruk kopplat till drönare. Inget av företagen beskrev närmare hur de nya åtgärderna skulle tillämpas på eventuella framtida militäravtal.
Varför det spelar roll
För civila visar forskningen att AI kan användas för att skapa omfattande mållistor där skolor och sjukhus ingår, vilket ökar risken för felaktiga attacker. För beslutsfattare synliggör den brister i dagens skyddsåtgärder och behovet av tydligare regler för hur AI-verktyg används i konfliktområden.