Anthropicは、チャットボットClaudeの利用規約を1年以上ぶりに改定した。新たな規則では、明確な目的もなく、モデルに対して繰り返し残酷な振る舞いをすることを禁じている。同社によると、この規則の主な適用方法は会話の終了だが、今後は利用禁止などの措置を加える可能性もある。今回の改定では、Claudeを兵器、監視、虚偽の政治・商業キャンペーンに利用することへの既存の制限も強化された。
新ルールの内容
今回の規約では、従来の複数の制限を「欺瞞的なキャンペーン」の禁止にまとめた。発信者を隠すこと、偽アカウントでコンテンツを拡散すること、選挙に関する誤情報を広めることなどが禁じられる。兵器に関する条項の対象には、兵器を機能させるソフトウェアも加わり、ドローンなどの自律型車両への武装も含まれる。監視に関する制限も明確化され、本人の同意なく人々を追跡したり、法執行機関が逮捕対象者を決めるのを支援したりする目的でClaudeを使うことはできない。
Anthropicは、Claudeが制御する可能性のあるあらゆるハードウェアを対象とする安全条項も追加した。AIが人にけがをさせる可能性のある機械と接続される場合、資格を持つオペレーターが機器を監視し、停止できなければならない。
今回の改定が重要な理由
Anthropicは、Claudeに兵器制御用のコードを書かせたり、政治的反体制派を特定させたりするなど、悪用の試みが増えていることを踏まえた改定だとしている。より厳しい制限を定めることで、そうしたリスクを減らし、今後のAI搭載ハードウェア開発に向けた基準を明確にする狙いだ。
なぜ重要か
一般ユーザーにとって、今回の改定により、Claudeに繰り返し敵対的な態度を取ると会話が終了されるようになり、憎悪や有害な目的でモデルを悪用しにくくなる。また、危険なプロジェクトでのAI利用に対する制限強化は、AIが生成した誤情報や兵器関連コンテンツが世に出るリスクを下げる可能性がある。