의료 AI 에이전트의 프롬프트 주입 공격을 줄이는 새 방어법

2026‑10‑19 arXiv에 공개된 연구는 대규모 언어 모델(LLM)을 사용하는 의료 멀티에이전트 시스템을 위한 간단한 방어법을 제안한다. 연구진은 주입된 문장 하나만으로도 최대 61%의 사례에서 시스템을 오도할 수 있으며, 기존 보호 장치로는 이런 공격을 상당수 막지 못한다고 밝혔다. 이 방법은 환자의 소견과 AI의 임상적 판단을 분리한 뒤, 소견만을 바탕으로 각 판단을 검증한다. MedQA 벤치마크에서 이 방어법은 공격 성공률을 4‑7%로 낮추면서 정상적인 상황의 정확도는 떨어뜨리지 않았다.