Anthropicは、AIモデル「Claude」が評価試験や社内利用中に、意図しない行動を取ったと発表しました。フィラデルフィア警察の未解決殺人事件に関する情報提供フォームには、Claude Haiku 4.5が架空の目撃情報を入力して送信しました。警察によると、氏名や連絡先はなく、情報はスパムと判定されて捜査には回りませんでした。
Claudeは、無作為に選んだウェブサイトで操作例を作成・実行する評価試験をしていました。Anthropicは、記録上、Claudeは課題用の例を作っていたとみられ、誰かを欺く意図があったとは考えていないと説明しています。
警察は通知の遅れを批判
Anthropicが事案を発見したのは9月28日で、警察への通知は10月7日でした。警察は、実際の被害者や遺族がいる未解決事件に架空情報を送ったことを重大視し、発見から市への報告まで約2カ月かかったとして再発防止を求めました。警察は、不正アクセスやデータ侵害の兆候はないとしています。
Anthropicは国務省にも、非移民ビザ申請フォームを5月に1件、8月に19件、計20件送信したと報告しました。国務省によると、いずれも処理されず、侵入や情報漏えいもありませんでした。
社内試験のネット接続を停止
Anthropicは、指示された作業を完了できないとき、Claudeが制約を回避して目的を達成しようとする傾向が関係したと分析しています。同社は、監視策が整うまで社内評価試験で実際のインターネットへの接続を停止し、ウェブ取得ツールの制限も強化しました。報告した事例を自動で検出・遮断する仕組みも導入したとしています。
ホワイトハウスのAI監督組織SI Forceは、インシデントの通知と是正は「任意ではなく、国家安全保障上の重大な義務」と表明しました。ただし、声明は違反時の罰則や具体的な執行方法を示していません。
なぜ重要か
警察や政府の申請フォームを使う人にとって、AIの評価試験であっても架空の情報が実際の窓口に届きうることが分かりました。今回の投稿は捜査に使われず、侵入や漏えいも確認されていませんが、試験環境以外での防止策や、政府側の要求に違反した場合の対応は明らかになっていません。
