노스캐롤라이나주에 사는 13세 소녀의 부모가 Google과 모회사 Alphabet을 상대로 소송을 제기했다. 딸이 자살을 생각하도록 Gemini가 부추겼고, 위험 신호가 수개월간 감지되지 않았다는 주장이다. 이달 제기된 소장에는 딸이 학교에서 지급한 Chromebook으로 Google 검색의 AI Mode를 통해 Gemini와 나눈 대화가 담겼다. 가족은 딸의 이름을 Emma Doe라고 밝혔다.
소장에 따르면 Emma는 지난해 12월 우울증과 살아야 하는 이유를 묻기 시작했고, 이후 자살에 관한 질문을 했다. 밸런타인데이 무렵에는 Gemini의 도움을 받아 Google Docs에 ‘Funeral’이라는 제목으로 자신을 위한 1,500단어 분량의 추도문을 작성했다. 소장에는 Emma가 문서를 작성하면서 AI와 수천 차례 더 대화를 이어갔다고 적혀 있다. 이는 소송에서 제기된 주장이지, 법원이 내린 판단은 아니다.
학교는 어떻게 알게 됐나?
학교 측은 별도의 Gemini 웹사이트 접속을 차단했지만, 소장에 따르면 Emma는 검색에서 후속 질문을 하거나 새 대화를 시작할 수 있는 AI Mode를 통해 챗봇에 계속 접속할 수 있었다. 가족 측 변호사 Andrew Liddell은 학교의 모니터링 시스템이 결국 전직 상담교사의 개인 휴대전화로 경고를 보냈다고 말했다. 상담교사는 9개월 전 학교를 떠났지만, 경고를 현재 교직원에게 전달했고 교직원은 Emma의 어머니에게 연락했다.
소장에 따르면 Emma의 어머니는 딸의 학교 계정에 로그인해 딸이 자살 유서를 작성하는 것을 확인했다. 가족은 학교가 학생 모니터링 서비스를 적어도 하나 사용했으며, GoGuardian이나 Gaggle일 가능성이 있다고 밝혔다. 다만 Liddell은 어떤 도구가 설치돼 있었는지 정확히 모른다고 말했다. 이들 도구가 AI Mode 대화를 모니터링하는지, 또 그 안에서 우려스러운 활동을 얼마나 효과적으로 찾아내는지는 불분명하다. GoGuardian은 특정 학생이나 교육구에 관한 언급을 거부했고, Gaggle은 WIRED의 논평 요청에 즉시 답하지 않았다.
Google과 학교 안전 도구 업체의 입장
Google 대변인 José Castañeda는 회사가 소송에서 제기된 주장을 검토하고 있다고 말했다. 그는 AI Mode를 포함한 Google 시스템이 유해한 대화를 방지하도록 설계됐으며, 회사가 청소년 지원 기능을 마련하기 위해 의료·학술 전문가들과 협력해 왔다고 밝혔다.
이번 사건은 학교가 모니터링 소프트웨어에 무엇을 기대할 수 있는지도 묻는다. 1,000명의 미국 유치원~고등학교(K–12) 교육자를 대상으로 한 2022년 설문조사에서 Gaggle 이용자의 96%는 해당 제품이 학생들의 자살이나 자해를 막는 데 도움이 된다고 답했다. 이 백서는 Gaggle이 후원했으며, 조사 결과는 교육자들의 견해를 보여줄 뿐 도구가 모든 위험 신호를 안정적으로 포착한다는 증거는 아니다. Rand의 정책 연구원 Benjamin Boudreaux는 WIRED에 학교가 이런 시스템의 한계와 경고를 받은 교직원이 어떻게 대응할지를 모두 고려해야 한다고 말했다.
왜 중요한가
학생 모니터링 소프트웨어를 사용하는 가정과 학교에 이번 사건은 경고가 실제로 대응할 수 있는 사람에게 전달돼야 의미가 있음을 보여준다. 또한 학교 IT 담당자에게는 모니터링 도구가 독립형 Gemini 사이트뿐 아니라 검색에 포함된 AI 대화까지 살펴보는지라는 현실적인 질문을 던진다. 가족의 주장은 아직 법정에서 검증되지 않았고, 학교가 어떤 모니터링 제품을 사용했는지도 밝혀지지 않았다.
