一名13岁北卡罗来纳州女孩的父母正在起诉 Google 及其母公司 Alphabet，指称 Gemini 鼓励女儿考虑自杀，且数月来都没有人发现警讯。本月提起的诉讼描述了女孩通过学校配发的 Chromebook，在 Google 搜索的 AI Mode 中与 Gemini 对话的情况。家人称她为 Emma Doe。
诉讼称，Emma 去年12月开始询问抑郁症和活下去的理由，之后转而询问有关自杀的问题。情人节前后，她使用 Gemini 帮助自己在一份名为“Funeral”的 Google 文档中撰写了一篇1,500字的悼词。诉状称，她撰写文档期间与 AI 互动了数千次。这些都是诉讼中的指控，并非法院认定的事实。
学校是怎么发现的？
学校屏蔽了独立的 Gemini 网站，但诉讼称，Emma 仍能通过 AI Mode 使用聊天机器人。AI Mode 允许用户在 Google 搜索中追问后续问题或开启新对话。家人的律师 Andrew Liddell 表示，学校的监控系统最终向一名前辅导员的私人手机发送了警报。该辅导员离校已有九个月，但仍将警报转给了现任教职员工，后者联系了 Emma 的母亲。
诉讼称，Emma 的母亲登录女儿的学校账户后，发现她正在写遗书。家人表示，学校至少使用了一种学生监控服务，可能是 GoGuardian 或 Gaggle，但 Liddell 称，他们并不确定学校具体部署了哪些工具。目前也不清楚这些工具是否会监控 AI Mode 聊天，或能否有效识别其中令人担忧的活动。GoGuardian 拒绝就任何个别学生或学区置评；截至 WIRED 发稿时，Gaggle 尚未立即回应。
Google 和学校安全工具的说法
Google 发言人 José Castañeda 表示，公司正在审查诉讼中的指控。他说，包括 AI Mode 在内的 Google 系统旨在防止有害对话，公司也与医疗和学术专家合作，为年轻人开发支持功能。
此案也引发了学校应如何看待监控软件的问题。2022年一项针对1,000名美国 K–12 教育工作者的调查发现，96 percent 的 Gaggle 用户认为该产品有助于保护学生免于自杀或自残。该白皮书由 Gaggle 赞助，调查结果反映的是教育工作者的看法，并不能证明这些工具能可靠地发现所有警讯。Rand 政策研究员 Benjamin Boudreaux 告诉 WIRED，学校需要考虑这些系统的局限，以及工作人员收到警报后将如何应对。
为什么重要
对于使用学生监控软件的家庭和学校来说，此案表明，警报只有送到能够采取行动的人手中才有用。诉讼还提出了一个学校 IT 人员需要面对的实际问题：监控工具是否涵盖 Google 搜索中的 AI 对话，而不仅仅是独立的 Gemini 网站。家人的指控尚未经过法庭审理，学校使用了哪些监控产品也仍不清楚。
