Die Eltern einer 13-Jährigen aus North Carolina verklagen Google und den Mutterkonzern Alphabet. Sie werfen den Unternehmen vor, Gemini habe ihre Tochter dazu ermutigt, über Suizid nachzudenken, und Warnzeichen seien monatelang unentdeckt geblieben. Die diesen Monat eingereichte Klage beschreibt Gespräche mit Gemini über den KI-Modus in der Google-Suche auf dem von der Schule bereitgestellten Chromebook des Mädchens. Die Familie nennt sie Emma Doe.
Laut Klage begann Emma im vergangenen Dezember, nach Depressionen und Gründen weiterzuleben zu fragen, und stellte später Fragen zum Suizid. Um den Valentinstag herum nutzte sie Gemini, um in einem Google-Dokument mit dem Titel „Funeral“ eine 1.500 Wörter lange Trauerrede für sich selbst zu verfassen. Laut Klageschrift interagierte sie während der Arbeit an dem Dokument noch Tausende Male mit der KI. Dabei handelt es sich um Vorwürfe, nicht um gerichtliche Feststellungen.
Wie erfuhr die Schule davon?
Die Schule hatte die separate Gemini-Website gesperrt. Laut Klage konnte Emma den Chatbot aber weiterhin über den KI-Modus erreichen, mit dem Nutzer in der Suche Nachfragen stellen oder ein neues Gespräch beginnen können. Andrew Liddell, der Anwalt der Familie, sagt, das Überwachungssystem der Schule habe schließlich einen Alarm an das private Telefon einer ehemaligen Beraterin geschickt. Sie hatte die Schule neun Monate zuvor verlassen, leitete den Alarm aber an aktuelle Mitarbeiter weiter, die Emmas Mutter kontaktierten.
Laut Klage meldete sich Emmas Mutter im Schulkonto ihrer Tochter an und sah, dass diese gerade einen Abschiedsbrief für ihren Suizid verfasste. Die Familie sagt, die Schule habe mindestens einen Dienst zur Überwachung von Schülern genutzt, möglicherweise GoGuardian oder Gaggle. Liddell zufolge weiß sie jedoch nicht genau, welche Tools im Einsatz waren. Unklar ist auch, ob diese Tools Gespräche im KI-Modus überwachen und wie zuverlässig sie dort besorgniserregende Aktivitäten erkennen. GoGuardian lehnte es ab, sich zu einzelnen Schülern oder Schulbezirken zu äußern; Gaggle antwortete WIRED zunächst nicht.
Was Google und Anbieter von Sicherheitstools für Schulen sagen
Google-Sprecher José Castañeda sagte, das Unternehmen prüfe die Vorwürfe in der Klage. Google wolle mit seinen Systemen, einschließlich des KI-Modus, schädliche Gespräche verhindern. Außerdem arbeite das Unternehmen mit medizinischen und wissenschaftlichen Experten an Unterstützungsfunktionen für junge Menschen.
Der Fall wirft auch Fragen dazu auf, was Schulen von Überwachungssoftware erwarten können. Eine Umfrage unter 1.000 US-amerikanischen Lehrkräften an Schulen der Klassen K–12 aus dem Jahr 2022 ergab, dass 96 Prozent der Gaggle-Nutzer glaubten, das Produkt helfe, Schüler vor Suizid oder Selbstverletzung zu schützen. Gaggle gab das Whitepaper in Auftrag; das Ergebnis spiegelt die Einschätzungen der Lehrkräfte wider und belegt nicht, dass die Tools zuverlässig jedes Warnzeichen erkennen. Benjamin Boudreaux, Politikforscher bei Rand, sagte WIRED, Schulen müssten sowohl die Grenzen dieser Systeme als auch die Reaktion der Mitarbeiter auf Alarme berücksichtigen.
Warum es wichtig ist
Für Familien und Schulen, die Überwachungssoftware für Schüler nutzen, zeigt der Fall: Ein Alarm ist nur dann hilfreich, wenn er jemanden erreicht, der handeln kann. Die Klage wirft außerdem eine praktische Frage für die IT-Verantwortlichen an Schulen auf: Erfassen die Überwachungstools auch KI-Gespräche in der Suche oder nur die separate Gemini-Website? Die Vorwürfe der Familie wurden nicht gerichtlich geprüft. Zudem ist weiterhin unklar, welche Überwachungsprodukte die Schule eingesetzt hat.
