O Inspetor-Chefe Independente de Fronteiras e Imigração do Reino Unido avalia se deve investigar o uso de ferramentas de IA pelo Home Office em casos de asilo. O órgão fiscalizador pediu informações ao grupo de direitos digitais Open Rights Group (ORG) enquanto prepara as prioridades de inspeção para o próximo ano, disse à WIRED a ativista do ORG Sara Alsherif. O inspetor afirmou à WIRED que não pode confirmar quais temas está considerando no momento, mas disse estar ciente das preocupações sobre as ferramentas.
O Home Office usa duas ferramentas baseadas no GPT-4, da OpenAI, e no Microsoft Foundry: o Asylum Case Summarisation (ACS), que resume transcrições de entrevistas de asilo, e o Asylum Policy Search (APS), que localiza e resume informações sobre os países de origem dos solicitantes. O departamento começou a testá-las no fim de 2024, enquanto trabalhava para reduzir um acúmulo de cerca de 100.000 casos. Estimativas do governo feitas durante o projeto-piloto indicaram que o uso conjunto das ferramentas poderia economizar cerca de uma hora por caso. O Home Office afirma que funcionários treinados tomam as decisões sobre os pedidos de asilo e que as ferramentas não podem decidir os casos por conta própria.
Quais são as preocupações?
Uma investigação de seis meses do ORG constatou que a proporção de resumos do ACS considerados impróprios para uso foi significativamente superior à taxa de erro de 9 por cento informada na avaliação do projeto-piloto. O grupo também não encontrou controle de qualidade para os resumos do APS. O Home Office afirma que monitora as ferramentas e se comprometeu a publicar avaliações atualizadas, mas, segundo a WIRED, o departamento não forneceu informações solicitadas pelo ORG sobre como os funcionários usam as ferramentas nem sobre o treinamento recebido para utilizá-las.
Os riscos são relevantes porque os funcionários usam os resumos e as pesquisas de políticas para avaliar se os solicitantes correm perigo caso sejam devolvidos a seus países. Em julho, um juiz britânico criticou o Home Office por citar um documento “alucinado por IA” ao rejeitar o pedido de asilo de uma mulher marroquina e de seu filho. Pesquisadores e parlamentares também alertaram que erros ou a perda de contexto cultural podem afetar as decisões.
As ferramentas não constam de listas públicas
O Guia de IA do Reino Unido determina que os departamentos do governo divulguem as ferramentas algorítmicas usadas na tomada de decisões e as incluam em um registro público. O ACS e o APS não constam da lista, e os solicitantes de asilo não são informados quando as ferramentas são usadas em seus casos, segundo a WIRED. O ORG e o Public Law Project apresentaram suas preocupações ao órgão regulador de dados, que investiga a recusa do Home Office em fornecer informações ao ORG. Advogados contratados pelo ORG afirmaram que impedir os solicitantes de contestar resumos incorretos pode violar a legislação sobre direitos de dados.
O inspetor não confirmou que abrirá uma investigação. Outra preocupação é que o ACS e o APS estão entre 11 sistemas de IA de alto risco do governo que, segundo o Public Law Project, não aparecem na lista pública. A OpenAI disse à WIRED que trabalha para melhorar a precisão dos modelos e que planeja descontinuar o GPT-4 em janeiro.
Por que importa
Para quem busca asilo no Reino Unido, resumos gerados por IA e pesquisas sobre políticas podem influenciar o material analisado pelos funcionários, embora o Home Office afirme que as decisões são tomadas por pessoas. O órgão fiscalizador avalia uma revisão, mas não confirmou que abrirá uma investigação, e os solicitantes não são informados quando as ferramentas são usadas em seus casos.
