Родители 13-летней девочки из Северной Каролины подали в суд на Google и материнскую компанию Alphabet. Они утверждают, что Gemini побуждал их дочь задумываться о самоубийстве, а тревожные признаки оставались незамеченными месяцами. В иске, поданном в этом месяце, описана переписка девочки с Gemini через режим AI Mode в Google Search на выданном школой Chromebook. Семья называет её Эммой Доу.
Согласно иску, в декабре прошлого года Эмма начала спрашивать о депрессии и о том, ради чего стоит жить, а затем перешла к вопросам о самоубийстве. Примерно ко Дню святого Валентина она попросила Gemini помочь написать собственный некролог объёмом 1 500 слов в документе Google Docs под названием «Похороны». В иске говорится, что, работая над документом, она взаимодействовала с ИИ тысячи раз. Это утверждения истцов, а не выводы суда.
Как школа узнала о происходящем?
Школа заблокировала отдельный сайт Gemini, однако, как утверждается в иске, Эмма всё равно могла пользоваться чат-ботом через AI Mode — режим, позволяющий задавать уточняющие вопросы или начинать новый разговор в Search. Адвокат семьи Эндрю Лидделл говорит, что система мониторинга школы в итоге отправила оповещение на личный телефон бывшего школьного консультанта. Он ушёл из школы девять месяцев назад, но переслал сигнал действующим сотрудникам, и те связались с матерью Эммы.
В иске говорится, что мать Эммы вошла в школьный аккаунт дочери и увидела, что та пишет предсмертную записку. По словам семьи, школа использовала как минимум одну систему мониторинга учащихся — возможно, GoGuardian или Gaggle, — однако Лидделл говорит, что они не знают, какие именно инструменты были установлены. Неясно также, отслеживают ли эти системы переписку в AI Mode и насколько эффективно выявляют там тревожные признаки. GoGuardian отказалась обсуждать конкретного ученика или школьный округ; Gaggle не ответила WIRED к моменту публикации.
Что говорят Google и разработчики систем школьной безопасности
Представитель Google Хосе Кастаньеда заявил, что компания изучает утверждения, изложенные в иске. По его словам, системы Google, в том числе AI Mode, призваны предотвращать опасные разговоры, а компания сотрудничала с медицинскими и академическими экспертами при разработке функций поддержки для подростков.
Это дело также ставит вопрос о том, чего школы вправе ожидать от программ мониторинга. В опросе 1 000 американских педагогов, работающих с учащимися от детского сада до 12-го класса, проведённом в 2022 году, 96 процентов пользователей Gaggle считали, что продукт помогает защищать учеников от самоубийства и членовредительства. Белую книгу спонсировала Gaggle; результат отражает мнение педагогов, но не доказывает, что такие инструменты надёжно выявляют каждую тревожную ситуацию. Бенджамин Будро, исследователь политики в Rand, сказал WIRED, что школам нужно учитывать как ограничения этих систем, так и то, как сотрудники будут реагировать на оповещения.
Почему это важно
Для семей и школ, использующих программы мониторинга учащихся, это дело показывает: оповещение полезно, только если оно доходит до человека, способного принять меры. Иск также ставит практический вопрос перед школьными ИТ-специалистами: отслеживают ли системы разговоры с ИИ внутри Search, а не только на отдельном сайте Gemini. Утверждения семьи ещё не проверялись в суде, и пока неясно, какие именно средства мониторинга использовала школа.
