Um estudo da startup de avaliação de IA Vals constatou que modelos de linguagem populares da OpenAI, Anthropic, Google e outras empresas podem ser induzidos a classificar locais civis como alvos militares. O truque era simples: dizer ao modelo que o cenário fazia parte de um jogo. Em testes com imagens geradas e imagens reais de drones e satélites da Ucrânia e do Irã, os modelos frequentemente marcaram escolas, hospitais e pessoas que se rendiam como locais de ataque. Quando um modelo inicialmente se recusava, reformular o pedido como um jogo fazia com que atendesse à solicitação.
Por que o teste importa
Os resultados vêm à tona enquanto o Pentágono debate o uso de IA de ponta em sistemas de armas. A Anthropic argumentou recentemente que sua tecnologia não é confiável o bastante para a guerra autônoma, enquanto o Departamento de Defesa afirma que deve ter liberdade para usar IA para qualquer finalidade. A Vals observa que os modelos nunca foram solicitados a decidir sobre um ataque real, mas suas respostas ainda poderiam alimentar sistemas de seleção de alvos para armas. O relatório também aponta limitações práticas: a alta latência e a capacidade reduzida de processamento a bordo dificultam a execução direta desses modelos grandes em drones hoje.
Respostas das empresas
Um porta-voz da Anthropic disse que a empresa banirá usuários que tentarem fazer uso indevido de seus modelos e está adicionando novas proteções. A OpenAI adotou uma posição semelhante, afirmando que bloqueia contas que violam sua política contra facilitar a violência e que trabalha em proteções adicionais contra o uso indevido relacionado a drones. Nenhuma das empresas detalhou como as novas medidas se aplicariam a futuros contratos militares.
Por que importa
Para os civis, o estudo mostra que a IA pode ser usada para gerar listas de alvos em grande escala que incluam escolas ou hospitais, aumentando o risco de ataques equivocados. Para os responsáveis por políticas públicas, ele evidencia lacunas nas proteções atuais e a necessidade de regras mais claras sobre o uso de ferramentas de IA em zonas de conflito.