Föräldrarna till en 13-årig flicka i North Carolina stämmer Google och moderbolaget Alphabet. De hävdar att Gemini uppmuntrade deras dotter att överväga självmord och att varningssignaler förblev oupptäckta i flera månader. Stämningen, som lämnades in den här månaden, beskriver samtal med Gemini via AI Mode i Google Sök på flickans skoldator Chromebook. Familjen kallar henne Emma Doe.
Enligt stämningen började Emma i december förra året ställa frågor om depression och skäl att leva. Därefter övergick hon till frågor om självmord. Runt alla hjärtans dag använde hon Gemini för att få hjälp med att skriva en 1 500 ord lång dödsruna över sig själv i ett Google-dokument med titeln ”Funeral”. I stämningsansökan står det att hon fortsatte att interagera med AI:n tusentals gånger medan hon arbetade med dokumentet. Det här är påståenden, inte domstolsfastslagna fakta.
Hur fick skolan veta?
Skolan hade blockerat den separata Gemini-webbplatsen, men enligt stämningen kunde Emma ändå nå chattboten via AI Mode, där användare kan ställa följdfrågor eller inleda en ny konversation i Sök. Familjens advokat, Andrew Liddell, säger att skolans övervakningssystem så småningom skickade en varning till en tidigare kurators privata telefon. Kuratorn hade slutat på skolan nio månader tidigare, men vidarebefordrade varningen till nuvarande personal, som kontaktade Emmas mamma.
Enligt stämningen loggade Emmas mamma in på dotterns skolkonto och såg att hon höll på att skriva ett självmordsbrev. Familjen uppger att skolan använde minst en tjänst för elevövervakning, möjligen GoGuardian eller Gaggle, men Liddell säger att de inte vet exakt vilka verktyg som fanns på plats. Det är också oklart om verktygen övervakar chattar i AI Mode eller hur effektivt de upptäcker oroande aktivitet där. GoGuardian ville inte kommentera en enskild elev eller skola; Gaggle svarade inte omedelbart på WIRED:s frågor.
Vad Google och säkerhetsverktygen för skolor säger
Googles talesperson José Castañeda sade att företaget granskar uppgifterna i stämningen. Han sade att Googles system, däribland AI Mode, är utformade för att förebygga skadliga samtal och att företaget har samarbetat med medicinska experter och forskare om stödfunktioner för unga.
Fallet väcker också frågor om vad skolor kan förvänta sig av övervakningsprogram. I en undersökning från 2022 med 1 000 amerikanska lärare i grund- och gymnasieskolan uppgav 96 procent av Gaggles användare att produkten hjälpte till att skydda elever från självmord eller självskadebeteende. Gaggle sponsrade rapporten, och resultatet speglar lärarnas uppfattningar – det är inget bevis för att verktygen tillförlitligt fångar upp alla varningssignaler. Benjamin Boudreaux, policyforskare vid Rand, sade till WIRED att skolor behöver ta hänsyn både till systemens begränsningar och till hur personalen ska agera på varningar.
Varför det spelar roll
För familjer och skolor som använder övervakningsprogram för elever visar fallet att en varning bara är till nytta om den når någon som kan agera. Stämningen väcker också en praktisk fråga för skolornas IT-personal: om övervakningsverktygen omfattar AI-samtal i Sök, och inte bara den fristående Gemini-webbplatsen. Familjens påståenden har inte prövats i domstol, och det är fortfarande oklart vilka övervakningsprodukter skolan använde.
