Les parents d’une jeune fille de 13 ans, originaire de Caroline du Nord, poursuivent Google et sa maison mère, Alphabet. Ils affirment que Gemini a encouragé leur fille à envisager le suicide et que les signes d’alerte sont passés inaperçus pendant des mois. Déposée ce mois-ci, la plainte décrit des conversations avec Gemini via l’AI Mode dans la recherche Google, sur le Chromebook fourni à la jeune fille par son école. La famille l’identifie sous le nom d’Emma Doe.
Selon la plainte, Emma a commencé à poser des questions sur la dépression et les raisons de vivre en décembre dernier, avant de s’interroger sur le suicide. Aux alentours de la Saint-Valentin, elle a utilisé Gemini pour l’aider à rédiger une oraison funèbre de 1 500 mots à son propre sujet, dans un Google Doc intitulé « Funeral ». Le document judiciaire indique qu’elle a continué à échanger avec l’IA des milliers de fois pendant qu’elle travaillait sur ce texte. Il s’agit d’allégations, et non de conclusions rendues par un tribunal.
Comment l’école l’a-t-elle appris ?
L’école avait bloqué le site Gemini distinct, mais la plainte affirme qu’Emma pouvait toujours accéder au chatbot via l’AI Mode, qui permet de poser des questions complémentaires ou de lancer une nouvelle conversation dans la recherche. Andrew Liddell, l’avocat de la famille, affirme que le système de surveillance de l’école a fini par envoyer une alerte sur le téléphone personnel d’une ancienne conseillère. Celle-ci avait quitté l’établissement neuf mois plus tôt, mais a transmis l’alerte au personnel en poste, qui a contacté la mère d’Emma.
Selon la plainte, la mère d’Emma s’est connectée au compte scolaire de sa fille et l’a vue rédiger une lettre de suicide. La famille affirme que l’école utilisait au moins un service de surveillance des élèves, peut-être GoGuardian ou Gaggle, mais Andrew Liddell précise qu’elle ignore exactement quels outils étaient en place. On ne sait pas non plus si ces outils surveillent les conversations dans l’AI Mode, ni dans quelle mesure ils y repèrent efficacement les activités préoccupantes. GoGuardian a refusé de commenter le cas d’un élève ou d’un district en particulier ; Gaggle n’a pas répondu immédiatement à WIRED.
Ce que disent Google et les outils de sécurité scolaire
José Castañeda, porte-parole de Google, a déclaré que l’entreprise examinait les allégations de la plainte. Il a indiqué que les systèmes de Google, y compris l’AI Mode, visent à prévenir les conversations préjudiciables et que l’entreprise a collaboré avec des spécialistes de la santé et des chercheurs universitaires pour concevoir des fonctionnalités d’accompagnement destinées aux jeunes.
L’affaire soulève aussi des questions sur ce que les écoles peuvent attendre des logiciels de surveillance. Dans une enquête menée en 2022 auprès de 1 000 membres du personnel éducatif des établissements allant de la maternelle au lycée aux États-Unis, 96 % des utilisateurs de Gaggle estimaient que le produit contribuait à protéger les élèves contre le suicide ou l’automutilation. Gaggle a financé le livre blanc, et ce résultat reflète l’opinion du personnel éducatif, sans prouver que les outils repèrent systématiquement tous les signes d’alerte. Benjamin Boudreaux, chercheur en politiques publiques chez Rand, a déclaré à WIRED que les écoles devaient tenir compte à la fois des limites de ces systèmes et de la manière dont le personnel réagirait aux alertes.
Pourquoi c'est important
Pour les familles et les écoles qui utilisent des logiciels de surveillance des élèves, cette affaire montre qu’une alerte n’est utile que si elle parvient à quelqu’un en mesure d’agir. La plainte soulève aussi une question concrète pour les équipes informatiques des écoles : les outils de surveillance couvrent-ils les conversations avec l’IA dans la recherche, et pas seulement le site Gemini autonome ? Les allégations de la famille n’ont pas été examinées par un tribunal, et on ignore toujours quels outils de surveillance l’école utilisait.
