Storbritanniens oberoende chefsinspektör för gränser och invandring överväger om myndigheten ska utreda inrikesdepartementets användning av AI-verktyg i asylärenden. Tillsynsmyndigheten har bett den digitala rättighetsorganisationen Open Rights Group (ORG) om information inför arbetet med nästa års inspektionsprioriteringar, berättade ORG:s kampanjledare Sara Alsherif för WIRED. Inspektören uppgav för WIRED att den inte kan bekräfta vilka ämnen den aktivt överväger, men att den känner till oron kring verktygen.
Inrikesdepartementet använder två verktyg baserade på OpenAI:s GPT-4 och Microsoft Foundry: Asylum Case Summarisation (ACS), som sammanfattar utskrifter från asylintervjuer, och Asylum Policy Search (APS), som hittar och sammanfattar information om de sökandes hemländer. Departementet började testa verktygen i slutet av 2024, samtidigt som det arbetade med en ärendebalans på omkring 100,000 fall. Enligt regeringens beräkningar från pilotprojektet skulle verktygen tillsammans kunna spara ungefär en timme per ärende. Inrikesdepartementet säger att utbildade handläggare fattar asylbesluten och att verktygen inte kan avgöra ansökningar på egen hand.
Vad är oron?
ORG:s sex månader långa granskning visade att andelen ACS-sammanfattningar som bedömdes oanvändbara var betydligt högre än den felprocent på 9 procent som redovisades i pilotutvärderingen. Granskningen visade också att det saknas kvalitetskontroll av APS-sammanfattningarna. Inrikesdepartementet säger att det övervakar verktygen och har åtagit sig att publicera uppdaterade utvärderingar, men enligt WIRED har departementet inte lämnat de uppgifter som ORG efterfrågat om hur personalen använder verktygen eller utbildas i att använda dem.
Riskerna är betydelsefulla eftersom handläggare använder sammanfattningarna och policiesökningarna när de bedömer om sökande riskerar att skadas om de skickas tillbaka till sina hemländer. I juli kritiserade en brittisk domare inrikesdepartementet för att ha hänvisat till ett dokument som ”hallucinerats av AI” när myndigheten avslog en marockansk kvinnas och hennes barns asylansökan. Forskare och lagstiftare har också varnat för att fel eller förlust av kulturell kontext kan påverka besluten.
Verktygen finns inte med i det offentliga registret
Storbritanniens AI Playbook säger att myndigheter bör redovisa algoritmverktyg som används vid beslutsfattande och föra in dem i ett offentligt register. ACS och APS finns inte med där, och enligt WIRED får asylsökande inte veta när verktygen används i deras ärenden. ORG och Public Law Project har framfört sin oro till dataskyddsmyndigheten, som utreder inrikesdepartementets vägran att lämna ut information till ORG. Jurister som ORG anlitat har sagt att det kan strida mot dataskyddslagstiftningen att hindra sökande från att bestrida felaktiga sammanfattningar.
Inspektören har inte bekräftat att en granskning kommer att inledas. En annan farhåga är att ACS och APS är två av 11 AI-system med hög risk inom offentlig sektor som enligt Public Law Project saknas i det offentliga registret. OpenAI uppgav för WIRED att företaget arbetar med att förbättra modellens träffsäkerhet och planerar att pensionera GPT-4 i januari.
Varför det spelar roll
För personer som söker asyl i Storbritannien kan AI-genererade sammanfattningar och policiesökningar påverka vilket underlag handläggarna granskar, även om inrikesdepartementet säger att människor fattar besluten. Tillsynsmyndigheten överväger en granskning, men har inte bekräftat att en utredning ska inledas, och de sökande får inte veta när verktygen används i deras ärenden.
