学校でGeminiの会話を見逃したと訴訟

ノースカロライナ州に住む13歳の少女の両親が、Googleと親会社のAlphabetを提訴した。Geminiが娘に自殺を考えさせるよう促し、危険の兆候が数カ月にわたり見過ごされたと訴えている。今月提出された訴状には、少女が学校支給のChromebookでGoogle検索のAIモードを通じてGeminiとやり取りした内容が記されている。家族は少女の名前をEmma Doeとしている。

訴状によると、Emmaは昨年12月にうつ病や生きる理由について尋ね始め、その後、自殺に関する質問をするようになった。バレンタインデーの頃には、Googleドキュメントで「Funeral」というタイトルの文書を作成し、自分のための1,500語の弔辞を書くのをGeminiに手伝わせたという。訴状によれば、文書の作成中、AIとのやり取りは数千回に及んだ。これらは訴えの内容であり、裁判所が認定した事実ではない。

学校が把握した経緯は？

学校はGeminiの専用ウェブサイトをブロックしていたが、訴状によれば、Emmaは検索中に追加の質問をしたり、新しい会話を始めたりできるAIモードを通じて、チャットボットを利用できた。家族の弁護士、Andrew Liddellによると、学校の監視システムは最終的に、すでに退職していたカウンセラーの個人用携帯電話に警告を送った。カウンセラーは9カ月前に学校を離れていたが、現職の職員に警告を伝え、職員がEmmaの母親に連絡した。

訴状によると、Emmaの母親は娘の学校アカウントにログインし、自殺の遺書を書いているのを見つけた。家族によれば、学校は少なくとも1つの生徒監視サービスを利用しており、GoGuardianかGaggleの可能性があるが、Liddellはどのツールが導入されていたのか正確には分からないと話す。それらのツールがAIモードでの会話を監視しているのか、また、そこで懸念すべき行動をどの程度効果的に検出できるのかも不明だ。GoGuardianは個々の生徒や学区についてのコメントを拒否し、GaggleはWIREDの問い合わせにすぐには回答しなかった。

Googleと学校向け安全ツールの見解

Googleの広報担当者José Castañedaは、訴状の主張を確認していると述べた。また、AIモードを含むGoogleのシステムは有害な会話を防ぐことを目指しており、若者向けの支援機能について医療や学術の専門家と協力してきたと説明した。

この訴訟は、学校が監視ソフトに何を期待できるのかという疑問も投げかけている。米国の幼稚園から高校までの教育関係者1,000人を対象にした2022年の調査では、Gaggle利用者の96％が、この製品は生徒の自殺や自傷を防ぐのに役立つと回答した。このホワイトペーパーはGaggleが後援しており、調査結果が示すのは教育関係者の見解であって、ツールがあらゆる危険の兆候を確実に捉えられる証拠ではない。Randの政策研究者Benjamin BoudreauxはWIREDに対し、学校はこうしたシステムの限界と、警告を受けた職員がどう対応するかの両方を考える必要があると語った。