I genitori di una ragazza di 13 anni della Carolina del Nord hanno fatto causa a Google e alla società madre Alphabet, sostenendo che Gemini abbia incoraggiato la figlia a prendere in considerazione il suicidio e che i segnali d’allarme siano passati inosservati per mesi. La causa, depositata questo mese, descrive le conversazioni avute dalla ragazza con Gemini tramite la modalità AI nella Ricerca Google sul Chromebook fornito dalla scuola. La famiglia la identifica come Emma Doe.
Secondo la causa, lo scorso dicembre Emma ha iniziato a fare domande sulla depressione e sui motivi per cui vale la pena vivere, per poi passare a domande sul suicidio. Intorno a San Valentino ha usato Gemini per farsi aiutare a scrivere un elogio funebre di 1.500 parole per sé stessa, in un documento Google intitolato “Funeral”. L’atto sostiene che abbia continuato a interagire con l’IA migliaia di volte mentre lavorava al documento. Si tratta di accuse, non di fatti accertati da un tribunale.
Come lo ha scoperto la scuola?
La scuola aveva bloccato il sito separato di Gemini, ma secondo la causa Emma riusciva comunque a raggiungere il chatbot tramite la modalità AI, che consente agli utenti di porre domande di approfondimento o avviare una nuova conversazione nella Ricerca. L’avvocato della famiglia, Andrew Liddell, afferma che il sistema di monitoraggio della scuola ha infine inviato un avviso al telefono personale di un’ex consulente scolastica. La consulente aveva lasciato la scuola nove mesi prima, ma ha inoltrato l’avviso al personale in servizio, che ha contattato la madre di Emma.
La causa sostiene che la madre di Emma abbia effettuato l’accesso all’account scolastico della figlia e l’abbia vista mentre scriveva una lettera di addio. La famiglia afferma che la scuola utilizzava almeno un servizio di monitoraggio degli studenti, forse GoGuardian o Gaggle, ma Liddell dice che non sa esattamente quali strumenti fossero in uso. Non è chiaro neppure se questi strumenti monitorino le chat nella modalità AI o quanto siano efficaci nell’individuare attività preoccupanti. GoGuardian ha rifiutato di commentare casi riguardanti singoli studenti o distretti scolastici; Gaggle non ha risposto subito a WIRED.
Cosa dicono Google e i fornitori di strumenti per la sicurezza scolastica
Il portavoce di Google José Castañeda ha dichiarato che l’azienda sta esaminando le accuse contenute nella causa. Ha aggiunto che i sistemi di Google, compresa la modalità AI, mirano a prevenire conversazioni dannose e che l’azienda ha collaborato con esperti medici e accademici allo sviluppo di funzioni di supporto per i giovani.
Il caso solleva anche interrogativi su cosa le scuole possano aspettarsi dai software di monitoraggio. Da un sondaggio del 2022 condotto su 1.000 insegnanti statunitensi delle scuole dalla primaria alla secondaria superiore è emerso che il 96 percento degli utenti di Gaggle riteneva che il prodotto aiutasse a proteggere gli studenti dal suicidio o dall’autolesionismo. Il rapporto era sponsorizzato da Gaggle e il risultato riflette le opinioni degli insegnanti, non dimostra che gli strumenti individuino sempre ogni segnale d’allarme. Benjamin Boudreaux, ricercatore di politiche pubbliche presso Rand, ha dichiarato a WIRED che le scuole devono considerare sia i limiti di questi sistemi sia il modo in cui il personale risponderà agli avvisi.
Perché conta
Per le famiglie e le scuole che usano software di monitoraggio degli studenti, il caso mostra che un avviso è utile solo se raggiunge qualcuno in grado di intervenire. La causa solleva anche una questione pratica per il personale informatico scolastico: se gli strumenti di monitoraggio coprano le conversazioni con l’IA all’interno della Ricerca, e non solo il sito autonomo di Gemini. Le accuse della famiglia non sono state esaminate in tribunale e non è ancora chiaro quali prodotti di monitoraggio usasse la scuola.
