클로드 챗봇을 만든 앤스로픽은 자사 인력 검토팀이 위협성 대화를 법 집행기관에 신고했다고 밝혔다. 이 신고로 플로리다주 리 카운티의 한 여성이 중범죄 혐의로 기소됐다. 적용된 법은 총기 난사나 테러를 위협하는 서면·전자 메시지를 처벌하는 플로리다주 법령 836.10조다.
위협을 감지한 과정
앤스로픽은 위험할 수 있는 핵심 표현이 있는지 채팅을 모니터링한다. “칼리”라는 사용자가 9월 26일 리 카운티 보안관 사무소를 “총기로 공격하겠다”고 하자 시스템이 해당 메시지를 감지했다. 9월 27일에는 새 총에 관한 후속 메시지도 있었다. 표현의 수위가 심각하다고 판단돼 검토팀은 사안을 사람 분석가에게 넘겼고, 분석가는 보안관 사무소에 알렸다. 경찰은 별다른 저항 없이 여성의 자택에서 그를 체포했으며, 이후 정보 담당 형사가 수사를 맡았다.
AI 사용자에게 의미하는 점
앤스로픽의 정책은 AI 서비스 업체가 대화에서 실제 위협으로 보이는 정황을 발견하면 개입할 수 있고, 실제로 개입한다는 점을 보여준다. 회사의 검토 절차는 공공의 안전을 지키기 위한 것이지만, 폭력 의도가 담긴 경우 사용자의 대화가 검토되고 당국과 공유될 수 있다는 뜻이기도 하다.
왜 중요한가
일반 사용자에게 이번 사건은 AI 채팅이 완전히 사적인 공간은 아니며, 서비스 업체가 폭력적 표현을 감지해 신고할 수 있음을 보여준다. 챗봇에 한 위협 발언이 현실의 법적 결과로 이어질 수 있다는 점도 드러낸다. 다만 경찰에 신고할지를 결정하는 앤스로픽의 구체적인 기준은 여전히 불분명하다.
