والدین دختری ۱۳ساله در کارولینای شمالی از گوگل و شرکت مادرش، آلفابت، شکایت کرده‌اند و مدعی‌اند جمینای دخترشان را به فکر خودکشی انداخته و نشانه‌های هشداردهنده ماه‌ها شناسایی نشده‌اند. در شکایتی که این ماه ثبت شده، گفت‌وگوهای دختر با جمینای از طریق حالت هوش مصنوعی در جست‌وجوی گوگل و روی کروم‌بوک مدرسه‌اش شرح داده شده است. خانواده هویت او را اما دو (Emma Doe) اعلام کرده است.
بر اساس شکایت، اما از دسامبر گذشته پرسیدن درباره افسردگی و دلایل ادامه زندگی را آغاز کرد و بعد سراغ پرسش‌هایی درباره خودکشی رفت. حوالی روز ولنتاین، او از جمینای برای نوشتن مرثیه‌ای ۱٬۵۰۰کلمه‌ای برای خودش در یک سند گوگل‌داک با عنوان «مراسم خاکسپاری» کمک گرفت. در شکایت آمده که هنگام کار روی این سند، هزاران بار دیگر با هوش مصنوعی تعامل کرد. این موارد ادعا هستند و دادگاه آن‌ها را تأیید نکرده است.
مدرسه چطور باخبر شد؟
مدرسه وب‌سایت جداگانه جمینای را مسدود کرده بود، اما در شکایت آمده که اما همچنان می‌توانست از طریق حالت هوش مصنوعی به چت‌بات دسترسی داشته باشد؛ قابلیتی که به کاربران اجازه می‌دهد در جست‌وجو پرسش‌های تکمیلی بپرسند یا گفت‌وگوی تازه‌ای آغاز کنند. اندرو لیدل، وکیل خانواده، می‌گوید سامانه پایش مدرسه سرانجام هشداری را به تلفن شخصی یکی از مشاوران سابق فرستاد. آن مشاور ۹ ماه پیش مدرسه را ترک کرده بود، اما هشدار را به کارکنان فعلی منتقل کرد و آن‌ها با مادر اما تماس گرفتند.
طبق شکایت، مادر اما وارد حساب مدرسه‌ای دخترش شد و دید که او در حال نوشتن یادداشت خودکشی است. خانواده می‌گوید مدرسه دست‌کم از یک سرویس پایش دانش‌آموزان استفاده می‌کرده که احتمالاً GoGuardian یا Gaggle بوده است؛ اما لیدل می‌گوید آن‌ها دقیقاً نمی‌دانند چه ابزارهایی در اختیار مدرسه بوده است. همچنین روشن نیست این ابزارها گفت‌وگوهای حالت هوش مصنوعی را پایش می‌کنند یا تا چه اندازه می‌توانند فعالیت نگران‌کننده را در آن شناسایی کنند. GoGuardian درباره هیچ دانش‌آموز یا منطقه آموزشی مشخصی اظهارنظر نکرد؛ Gaggle نیز تا زمان انتشار گزارش به درخواست WIRED پاسخ نداده بود.
گوگل و شرکت‌های ابزارهای ایمنی مدارس چه می‌گویند؟
خوزه کاستانِدا، سخنگوی گوگل، گفت این شرکت در حال بررسی ادعاهای مطرح‌شده در شکایت است. او گفت سامانه‌های گوگل، از جمله حالت هوش مصنوعی، برای جلوگیری از گفت‌وگوهای زیان‌بار طراحی شده‌اند و این شرکت برای تدوین قابلیت‌های حمایتی از نوجوانان با متخصصان پزشکی و دانشگاهی همکاری کرده است.
این پرونده پرسش‌هایی را هم درباره انتظارات مدارس از نرم‌افزارهای پایش مطرح می‌کند. در نظرسنجی سال ۲۰۲۲ از ۱٬۰۰۰ آموزگار مقاطع K–12 در آمریکا، ۹۶ درصد کاربران Gaggle معتقد بودند این محصول به حفظ امنیت دانش‌آموزان در برابر خودکشی یا خودآزاری کمک می‌کند. حامی مالی گزارش این نظرسنجی Gaggle بود و نتیجه، دیدگاه آموزگاران را نشان می‌دهد، نه مدرکی بر اینکه این ابزارها همه هشدارها را به‌طور قابل‌اعتماد شناسایی می‌کنند. بنجامین بودرو، پژوهشگر سیاست‌گذاری در Rand، به WIRED گفت مدارس باید هم محدودیت‌های این سامانه‌ها و هم نحوه واکنش کارکنان به هشدارها را در نظر بگیرند.
چرا مهم است
برای خانواده‌ها و مدارسی که از نرم‌افزارهای پایش دانش‌آموزان استفاده می‌کنند، این پرونده نشان می‌دهد هشدار تنها وقتی مفید است که به دست کسی برسد که بتواند اقدام کند. شکایت همچنین پرسشی کاربردی را برای مسئولان فناوری اطلاعات مدارس مطرح می‌کند: آیا ابزارهای پایش، گفت‌وگوهای هوش مصنوعی درون جست‌وجو را هم پوشش می‌دهند یا فقط وب‌سایت مستقل جمینای را؟ ادعاهای خانواده هنوز در دادگاه بررسی نشده و مشخص نیست مدرسه از کدام محصولات پایش استفاده می‌کرده است.
