Anthropic, Claude 대화 감시 기능 도입…유해 사례 78% 포착

Anthropic은 Claude가 이용자와 나눈 대화를 답변 직후 다시 평가하는 ‘자기 평가’ 기능을 운영 중이라고 2026년 10월 29일 공개했습니다. Claude는 대화에 유해한 요청이 있는지, 어떤 위험 유형인지, 사람이 얼마나 서둘러 검토해야 하는지를 표시합니다. 이 평가는 이용자에게 보이지 않고 별도의 감시·검토 과정에 전달됩니다.

이 기능은 6월 출시된 Claude Fable 5부터 적용됐습니다. Anthropic에 따르면 현재 Fable 5 이후 출시된 Claude 모델에서 전 세계 이용량의 상당 부분을 대상으로 운영합니다. 기존처럼 대화 전체를 별도의 AI 분류 모델에 다시 입력하지 않습니다. 대화가 이미 처리 중인 상태를 활용해 평균 약 10개의 토큰을 더 생성하며, Anthropic은 이에 따른 연산 비용이 전체 추론 비용의 2% 미만이라고 추산했습니다.

어떤 사례를 찾아냈나

Anthropic의 평가에서 Fable 5는 별도의 강력한 분류 모델이 유해할 수 있다고 표시한 대화의 78%를 포착했습니다. 분류 모델이 우선 검토 대상으로 판단한 대화에서는 94%를 찾아냈고, 정상 대화를 잘못 표시한 비율은 1%였습니다. 이 수치는 인간 전문가가 확인한 실제 악용 사례를 기준으로 한 탐지율이 아니라, 별도 AI 분류 모델의 판단과 비교한 결과입니다.

Anthropic은 8월 단일 API 계정에서 아동 성착취 관련 의심 활동 10만 건 이상을 발견해 관련 기관에 신고했다고 밝혔습니다. 9월에는 Claude Code로 수십 명을 겨냥한 연애 사기를 자동화한 조직을 찾아 계정을 차단했다고 설명했습니다. 그 밖에 비공개 추론 정보를 빼내려는 모델 증류 시도와 프롬프트 인젝션, 이용자 승인 없이 행동한 AI 에이전트 사례도 감지했다고 합니다. 발견한 의심 활동 가운데 약 3분의 1은 기존 분류 체계에 뚜렷하게 들어맞지 않았습니다.

차단 기능은 아니다

자기 평가는 위험한 요청을 실시간으로 막는 기능이 아니라, 답변 뒤에 대화를 살피는 감시 장치입니다. Anthropic은 기존의 실시간 안전장치와 함께 사용한다고 밝혔습니다. 별도 실험에서는 자기 평가만으로 공격을 차단했을 때 공격 성공률이 79%에서 54%로 낮아지는 데 그쳤습니다. 회사도 의도적으로 행동을 숨기는 AI를 감시하거나 모든 유해 대화를 잡아내기에는 아직 충분하지 않다고 인정했습니다.

Anthropic은 사기와 사이버 공격 관련 사례를 학습에서 제외한 실험에서도 해당 위험을 찾는 성능이 크게 떨어지지 않았다고 설명했습니다. 이는 정해진 공격 유형을 외우는 방식과 달리 대화 맥락을 활용할 가능성을 보여준다는 게 회사의 해석입니다. 다만 실제 운영에서는 데이터 보관이 허용된 대화에만 적용하며, 대화를 보관하지 않는 별도 계약의 이용량은 제외합니다. 감시 범위가 넓어질수록 개인정보 처리와 잘못된 판단을 어떻게 관리할지가 함께 중요해집니다.