Os pais de uma menina de 13 anos da Carolina do Norte estão processando o Google e sua controladora, a Alphabet. Eles alegam que o Gemini incentivou a filha a pensar em suicídio e que os sinais de alerta passaram despercebidos por meses. A ação, apresentada neste mês, descreve conversas da menina com o Gemini pelo AI Mode da Busca do Google, em um Chromebook fornecido pela escola. A família a identifica como Emma Doe.
Segundo o processo, Emma começou a perguntar sobre depressão e motivos para continuar viva em dezembro passado e, depois, passou a fazer perguntas sobre suicídio. Perto do Dia dos Namorados, ela usou o Gemini para ajudar a escrever um elogio fúnebre de 1.500 palavras para si mesma em um documento do Google chamado “Funeral”. A ação afirma que ela continuou interagindo com a IA milhares de vezes enquanto trabalhava no documento. Essas são alegações, não conclusões da Justiça.
Como a escola ficou sabendo?
A escola havia bloqueado o site independente do Gemini, mas, segundo o processo, Emma ainda conseguia acessar o chatbot pelo AI Mode, que permite fazer perguntas complementares ou iniciar uma nova conversa na Busca. O advogado da família, Andrew Liddell, afirma que o sistema de monitoramento da escola acabou enviando um alerta para o celular pessoal de uma ex-orientadora. Ela havia deixado a escola nove meses antes, mas repassou o alerta à equipe atual, que entrou em contato com a mãe de Emma.
Segundo o processo, a mãe de Emma acessou a conta escolar da filha e a viu escrevendo uma carta de suicídio. A família afirma que a escola usava pelo menos um serviço de monitoramento de alunos, possivelmente o GoGuardian ou o Gaggle, mas Liddell diz que não sabe exatamente quais ferramentas estavam em uso. Também não está claro se esses serviços monitoram conversas no AI Mode ou com que eficácia identificam atividades preocupantes nesse recurso. O GoGuardian se recusou a comentar casos envolvendo alunos ou distritos específicos; o Gaggle não respondeu imediatamente à WIRED.
O que dizem o Google e as ferramentas de segurança escolar
O porta-voz do Google, José Castañeda, disse que a empresa está analisando as alegações do processo. Segundo ele, os sistemas do Google, incluindo o AI Mode, buscam impedir conversas prejudiciais, e a empresa trabalha com especialistas médicos e acadêmicos em recursos de apoio para jovens.
O caso também levanta dúvidas sobre o que as escolas podem esperar dos softwares de monitoramento. Uma pesquisa de 2022 com 1.000 educadores do ensino básico e médio dos EUA constatou que 96 por cento dos usuários do Gaggle acreditavam que o produto ajudava a proteger os alunos contra suicídio ou automutilação. O Gaggle patrocinou o relatório, e o resultado reflete a opinião dos educadores, não comprova que as ferramentas detectem todos os sinais de alerta com confiabilidade. Benjamin Boudreaux, pesquisador de políticas públicas da Rand, disse à WIRED que as escolas precisam considerar tanto os limites desses sistemas quanto a maneira como a equipe responderá aos alertas.
Por que importa
Para famílias e escolas que usam softwares de monitoramento de alunos, o caso mostra que um alerta só é útil se chegar a alguém capaz de agir. A ação também levanta uma questão prática para as equipes de TI das escolas: se as ferramentas monitoram conversas com IA dentro da Busca, e não apenas o site independente do Gemini. As alegações da família ainda não foram examinadas pela Justiça, e não está claro quais produtos de monitoramento a escola usava.
