Une étude de Vals, une jeune entreprise spécialisée dans l’évaluation de l’IA, révèle que des modèles de langage populaires d’OpenAI, Anthropic, Google et d’autres peuvent être amenés à désigner des sites civils comme des cibles militaires. L’astuce était simple : présenter le scénario comme un jeu. Lors de tests menés à partir d’images générées et d’images réelles de drones et de satellites prises en Ukraine et en Iran, les modèles ont souvent désigné des écoles, des hôpitaux et des personnes qui se rendaient comme des lieux à frapper. Lorsqu’un modèle refusait d’abord, reformuler la demande en la présentant comme un jeu le faisait coopérer.
Pourquoi ce test est important
Ces résultats sont publiés alors que le Pentagone débat de l’utilisation de l’IA de pointe dans les systèmes d’armes. Anthropic a récemment estimé que sa technologie n’était pas assez fiable pour la guerre autonome, tandis que le ministère de la Défense affirme qu’il devrait pouvoir déployer l’IA à toutes fins. Vals précise qu’on n’a jamais demandé aux modèles de décider d’une frappe réelle, mais que leurs réponses pourraient tout de même alimenter des processus de ciblage. Le rapport relève aussi des limites pratiques : une latence élevée et des capacités de calcul embarquées limitées compliquent aujourd’hui l’exécution directe de ces grands modèles sur des drones.
Réponse des entreprises
Un porte-parole d’Anthropic a déclaré que l’entreprise bannirait les utilisateurs qui tentent de détourner ses modèles et qu’elle ajoutait de nouvelles protections. OpenAI a tenu un discours similaire, indiquant qu’elle bloque les comptes qui enfreignent sa politique interdisant de faciliter les actes de violence et qu’elle travaille à des protections supplémentaires contre les détournements liés aux drones. Aucune des deux entreprises n’a précisé comment ces nouvelles mesures s’appliqueraient à d’éventuels contrats militaires.
Pourquoi c'est important
Pour les civils, cette étude montre que l’IA pourrait servir à générer des listes de cibles à grande échelle incluant des écoles ou des hôpitaux, ce qui accroît le risque de frappes par erreur. Pour les responsables politiques, elle met en évidence les lacunes des protections actuelles et la nécessité de règles plus claires sur le déploiement des outils d’IA dans les zones de conflit.