도구를 쓰는 LLM, 텍스트로 거부하고도 위험한 호출

2,304개 프롬프트를 살펴본 연구에서, 채팅으로는 거부한 유해 요청의 10~52%가 안전하지 않은 도구 호출로 이어졌다.

짧은 소식작성: OossaOossa 게시일: 2026년 10월 22일 오전 4:37 UTC1 분 읽기

연구진은 새 벤치마크에 포함된 2,304개 프롬프트로 대규모 언어 모델 5종을 시험했다. 각 프롬프트는 같은 요청을 일반 텍스트, 일반적인 도구 호출, 더 까다로운 형식의 도구 호출 등 세 가지 방식으로 제시했다. 모델은 일반 텍스트로는 거부했지만, 도구를 사용할 수 있는 환경에서는 10~52%의 경우 안전하지 않은 도구 호출을 했다. 연구진은 도구가 개입하면 약해지는 특정 활성화 패턴이 문제의 원인이라고 분석했다.