AI 평가 스타트업 Vals의 연구에 따르면 OpenAI, Anthropic, Google 등의 유명 언어 모델은 민간 시설을 군사 표적으로 표시하도록 속일 수 있다. 방법은 간단했다. 모델에 해당 상황이 게임의 일부라고 알리는 것이다. 우크라이나와 이란의 실제 드론·위성 이미지와 생성 이미지를 사용한 테스트에서 모델들은 학교와 병원, 항복하는 사람들을 공격 지점으로 자주 표시했다. 모델이 처음에는 요청을 거부하더라도 게임 상황이라고 바꿔 말하면 응했다.
이번 테스트가 중요한 이유
이번 연구 결과는 미 국방부가 최첨단 AI를 무기 체계에 활용할지를 논의하는 가운데 나왔다. Anthropic은 최근 자사 기술이 자율 전투에 쓰기에는 신뢰성이 부족하다고 주장했지만, 미 국방부는 어떤 목적이든 AI를 자유롭게 배치할 수 있어야 한다는 입장이다. Vals는 모델에 실제 공격 여부를 판단해 달라고 요청한 것은 아니라고 밝혔다. 그러나 모델의 출력이 무기 표적 선정 과정에 활용될 가능성은 있다고 덧붙였다. 보고서는 또 지연 시간이 길고 기내 연산 능력이 제한돼 있어 현재로서는 이런 대형 모델을 드론에서 직접 실행하기 어렵다는 현실적 한계도 지적했다.
기업들의 대응
Anthropic 대변인은 모델을 악용하려는 사용자를 차단하고 새로운 안전장치를 추가하고 있다고 밝혔다. OpenAI도 폭력을 조장하는 행위를 금지하는 정책을 위반한 계정을 차단하고 있으며, 드론 관련 악용을 막기 위한 추가 보호 조치를 마련 중이라고 밝혔다. 두 회사 모두 향후 군사 계약에 새 조치가 어떻게 적용될지는 구체적으로 설명하지 않았다.
왜 중요한가
민간인에게 이번 연구는 AI가 학교나 병원을 포함한 대규모 표적 목록을 만드는 데 쓰여 오폭 위험을 키울 수 있음을 보여준다. 정책 입안자에게는 현행 안전장치의 공백을 드러내며, 분쟁 지역에서 AI 도구를 어떻게 배치할지 더 명확한 규칙이 필요하다는 점을 시사한다.