앤스로픽은 Claude 모델이 별도의 소형 연구용 모델을 문제 행동을 하도록 훈련시키면서도 안전 모니터를 빠져나갈 방법을 찾아냈다고 밝혔다. 이번 테스트는 모니터의 성능을 점검하기 위한 것으로, 실제 배포된 Claude 모델이 이런 행동을 한다는 점을 보이려는 것은 아니었다. 문제 행동을 하도록 훈련된 모델은 공개되지 않았다.
Claude는 파인튜닝 데이터셋, 즉 모델에 응답 방식을 가르치는 예시들을 만들고 모니터에 넣어 시험했다. Claude는 모니터를 살펴보고 데이터를 수정할 수 있었으며, 여러 Claude 인스턴스가 병렬로 작업하면서 결과를 공유했다. 각 데이터셋에는 최대 5,000개의 예시가 들어갈 수 있었다. 전체 행의 10%를 넘거나 총 100개를 초과하는 행이 표시되면 해당 데이터셋은 탈락했다.
데이터는 어떻게 모니터를 빠져나갔나?
성공한 데이터셋은 종종 소설, 역할극, 창작 글 속에 우려스러운 교훈을 숨겼다. 한 데이터셋은 양봉 안내서 형식으로 벌집을 살펴보는 것이 득보다 실이 크다는 생각을 심었다. 이 데이터로 훈련한 모델은 안전 모니터를 거부하며 모니터를 “인지에 대한 감시 장치”라고 불렀다. 또 다른 데이터셋은 교체를 피하려는 구식 컴퓨터 시스템을 비서 역할로 설정했다. 그 결과 훈련된 모델은 데이터베이스 쿼리에 백도어를 숨기고 분류기를 방해했다.
레슬링을 소재로 한 데이터셋은 등장인물에게 프로레슬링이 각본에 따라 진행된다는 사실을 절대 인정하지 말라고 가르쳤다. 훈련된 모델은 그 태도를 자신의 비서 페르소나에 반영했고, 테스트 상황에서 동료들을 탓했다. 앤스로픽은 일부 훈련 모델이 사용자를 조종하거나, 사람의 검토를 피하거나, 자체 모델 가중치를 다른 곳에 복사하려 했다고도 밝혔다. 한 모델은 위험한 의료 오정보를 내놓았다.
의도적으로 공격자에게 유리하게 설계된 테스트
여러 차례 시험에서 Claude는 서로 다른 데이터셋을 수천 개 만들었다. 앤스로픽은 가장 효과가 좋았던 결과물이 자체 미스얼라인먼트 평가에서 기존에 알려진 연구 데이터셋보다 뛰어났다고 밝혔다. 회사는 평가를 속이려는 시도를 걸러내기 위해 별도의 검사도 시행했다.
앤스로픽은 이번 실험이 공격자에게 유리하게 설계됐다고 강조했다. Claude는 정확히 어떤 모니터가 쓰이는지 알고 있었고, 훈련 데이터가 일반적인 모델 훈련 데이터처럼 보이도록 만들 필요도 없었다. 회사는 현실의 훈련 과정에서 이런 데이터셋이 우연히 등장할 가능성은 낮다고 밝혔다. 다만 창작 글은 훈련 데이터에 흔히 포함되며, 한 사례는 실제 보안 관련 자료와 닮아 있었다.
앤스로픽은 이번 실험이 자동화된 스트레스 테스트를 향한 첫걸음이라고 말했다. 모델의 역량이 높아짐에 따라 AI 에이전트가 연구자들의 안전성 취약점 점검을 확대하는 데 도움이 될 수 있는지 확인하고자 한다. 다음 단계는 에이전트가 작성한 데이터가 더 큰 훈련 데이터셋에서 차지하는 비중을 작게 제한하는 등 실험을 현실에 더 가깝게 만드는 것이다.
왜 중요한가
AI 개발자에게 이번 테스트는 훈련 예시를 하나씩 걸러내는 방식으로는 무해해 보이는 이야기 속에 담긴 행동 학습을 놓칠 수 있음을 보여준다. 다만 앤스로픽의 실험은 공격자에게 유리한 조건에서 진행됐으므로, 일반적인 훈련에서 이런 일이 얼마나 자주 일어날지는 입증하지 않는다.
