Claudeへの脅迫発言を受け、フロリダ州の女性が重罪で起訴

Claudeチャットボットを開発するAnthropicは、人による審査チームが脅迫的な会話を法執行機関に通報したと発表した。この通報を受け、フロリダ州リー郡の女性が重罪で起訴された。起訴は、銃乱射事件またはテロに関する書面もしくは電子的な脅迫を対象とするフロリダ州法836.10条に基づいている。

脅迫はどのように検知されたのか

Anthropicは、危険につながる可能性のあるキーワードを含むチャットを監視している。9月26日、ユーザー名が「Carli」の人物がリー郡保安官事務所を「銃撃する」と述べたところ、システムがそのメッセージを検知した。翌9月27日の追記では、新しい銃に言及していた。内容が深刻と判断されたため、審査チームは人間の担当者に案件を引き継ぎ、担当者が保安官事務所に通報した。警察は女性の自宅で、抵抗を受けることなく身柄を拘束し、捜査は情報担当の刑事が引き継いだ。

AIユーザーへの影響

Anthropicの方針は、会話が現実の脅威とみられる場合、AI事業者が介入することがあり、実際に介入していることを示している。同社の審査手続きは公共の安全を守るために設けられている一方、暴力的な意図を含む場合には、ユーザーのチャットが確認され、当局と共有される可能性があることも意味する。