Anthropic이 챗봇 Claude의 이용 정책을 1년여 만에 처음으로 개정했다. 새 규정은 명확한 목적 없이 모델을 반복해서 잔혹하게 대하는 행위를 금지한다. 회사는 대화를 종료하는 것이 이 규정을 집행하는 주된 방법이라고 밝혔으며, 추후 이용 금지 등 추가 조치를 도입할 수 있다고 덧붙였다. 이번 개정으로 Claude를 무기, 감시, 기만적인 정치·상업 캠페인에 사용하는 데 적용되던 기존 제한도 강화됐다.
새 규정의 적용 범위
정책은 기존의 여러 제한을 기만적인 캠페인에 대한 단일 금지 조항으로 통합했다. 메시지의 배후가 누구인지 숨기거나, 가짜 계정으로 콘텐츠를 확산하거나, 선거 관련 허위 정보를 퍼뜨리려는 행위가 금지된다. 무기 관련 조항은 무기가 작동하도록 하는 소프트웨어도 포함하도록 범위를 넓혔다. 여기에는 드론과 기타 자율주행 차량에 무기를 장착하는 행위도 해당한다. 감시 관련 제한도 명확해졌다. Claude를 동의 없이 사람을 추적하는 데 사용하거나, 법 집행기관이 체포 대상을 결정하도록 돕는 데 사용할 수 없다.
Anthropic은 Claude가 제어할 수 있는 모든 하드웨어에 적용되는 안전 조항도 추가했다. AI가 부상을 일으킬 수 있는 기계와 연결된 경우, 자격을 갖춘 운영자가 해당 장비를 관찰하고 작동을 중단할 수 있어야 한다.
이번 개정이 중요한 이유
Anthropic은 이번 정책이 Claude로 무기 제어 코드를 작성하거나 정치적 반대자를 식별하는 등 오용 시도가 늘어나는 현실을 반영한다고 밝혔다. 회사는 더 엄격한 제한을 명시해 이런 위험을 줄이고, 향후 AI 하드웨어 프로젝트에 적용할 기준을 더욱 분명히 하려 한다.
왜 중요한가
일반 사용자에게 이번 변경은 Claude가 반복적으로 적대적인 대화를 종료해, 증오나 해를 유발할 목적으로 모델을 악용할 가능성을 줄인다는 의미다. 또한 위험한 프로젝트에 AI를 사용하는 데 더 엄격한 제한을 두겠다는 신호로, AI가 생성한 허위 정보나 무기 관련 콘텐츠가 대중에게 확산될 위험을 낮출 수 있다.
