De onafhankelijke hoofdinspecteur voor grens- en immigratiezaken van het Verenigd Koninkrijk overweegt of er onderzoek moet komen naar het gebruik van AI-tools door het Home Office in asielzaken. De toezichthouder heeft de digitale-rechtengroep Open Rights Group (ORG) om informatie gevraagd bij het opstellen van de inspectieprioriteiten voor volgend jaar, vertelt ORG-campagnevoerder Sara Alsherif aan WIRED. De inspecteur zegt tegen WIRED niet te kunnen bevestigen welke onderwerpen actief worden overwogen, maar wel op de hoogte te zijn van zorgen over de tools.
Het Home Office gebruikt twee tools op basis van GPT-4 van OpenAI en Microsoft Foundry: Asylum Case Summarisation (ACS), dat transcripties van asielgesprekken samenvat, en Asylum Policy Search (APS), dat informatie over de landen van herkomst van aanvragers opzoekt en samenvat. De afdeling begon er eind 2024 mee te experimenteren, terwijl ze een achterstand van ongeveer 100.000 zaken wegwerkte. Volgens overheidsramingen uit de pilot kunnen de tools samen per zaak ongeveer een uur besparen. Het Home Office zegt dat getrainde medewerkers de asielbesluiten nemen en dat de tools aanvragen niet zelfstandig kunnen beoordelen.
Wat zijn de zorgen?
Uit een onderzoek van ORG dat zes maanden duurde, blijkt dat het aandeel ACS-samenvattingen dat ongeschikt werd geacht voor gebruik aanzienlijk hoger lag dan het foutpercentage van 9 procent dat in de pilotevaluatie werd gemeld. Ook stelde ORG vast dat APS-samenvattingen niet op kwaliteit worden gecontroleerd. Het Home Office zegt de tools te monitoren en heeft toegezegd bijgewerkte evaluaties te publiceren, maar volgens WIRED heeft de afdeling ORG geen inzage gegeven in de gevraagde details over hoe medewerkers de tools gebruiken en daarvoor worden opgeleid.
De risico’s zijn van belang omdat medewerkers de samenvattingen en zoekresultaten over beleid gebruiken om te beoordelen of aanvragers gevaar lopen als ze naar hun land worden teruggestuurd. In juli bekritiseerde een Britse rechter het Home Office omdat het een door AI ‘verzonnen’ document had aangehaald bij de afwijzing van een asielaanvraag van een Marokkaanse vrouw en haar kind. Onderzoekers en parlementariërs hebben ook gewaarschuwd dat fouten of verloren gegane culturele context van invloed kunnen zijn op besluiten.
De tools staan niet op de openbare lijst
In het Britse AI Playbook staat dat overheidsdiensten algoritmische tools die bij besluitvorming worden gebruikt, openbaar moeten maken en in een openbaar register moeten opnemen. ACS en APS staan daar niet in. Ook worden asielaanvragers niet verteld wanneer de tools in hun zaak worden gebruikt, meldt WIRED. ORG en Public Law Project hebben hun zorgen voorgelegd aan de privacytoezichthouder, die onderzoek doet naar de weigering van het Home Office om ORG informatie te verstrekken. Advocaten in opdracht van ORG hebben gezegd dat het verhinderen van aanvragers om onjuiste samenvattingen aan te vechten mogelijk in strijd is met de wetgeving inzake gegevensrechten.
De inspecteur heeft niet bevestigd dat er een onderzoek komt. Een andere zorg is dat ACS en APS behoren tot de 11 hoogrisico-AI-systemen van de overheid die volgens Public Law Project ontbreken op de openbare lijst. OpenAI zegt tegen WIRED te werken aan betere modelnauwkeurigheid en GPT-4 in januari uit dienst te willen nemen.
Waarom het ertoe doet
Voor mensen die asiel aanvragen in het Verenigd Koninkrijk kunnen door AI gemaakte samenvattingen en zoekresultaten over beleid van invloed zijn op het materiaal dat medewerkers beoordelen, hoewel het Home Office zegt dat mensen de besluiten nemen. De toezichthouder overweegt een onderzoek, maar heeft niet bevestigd dat het er komt. Aanvragers krijgen bovendien niet te horen wanneer de tools in hun zaak worden gebruikt.
