يقاضي والدا فتاة تبلغ 13 عامًا من ولاية كارولاينا الشمالية Google والشركة الأم Alphabet، زاعمين أن Gemini شجّع ابنتهما على التفكير في الانتحار، وأن إشارات التحذير لم تُرصد لأشهر. وتصف الدعوى، التي رُفعت هذا الشهر، محادثات أجرتها الفتاة مع Gemini عبر وضع AI Mode في بحث Google على جهاز Chromebook تابع للمدرسة. وتعرّف الأسرة ابنتها باسم Emma Doe.
بحسب الدعوى، بدأت Emma تسأل عن الاكتئاب وأسباب التمسك بالحياة في ديسمبر الماضي، ثم انتقلت إلى أسئلة عن الانتحار. وحول عيد الحب، استعانت بـGemini لكتابة رثاء لنفسها من 1,500 كلمة في مستند Google بعنوان «Funeral». وتقول الدعوى إنها واصلت التفاعل مع الذكاء الاصطناعي آلاف المرات أثناء إعداد المستند. وهذه ادعاءات لم تفصل فيها المحكمة.
كيف علمت المدرسة؟
كانت المدرسة قد حظرت موقع Gemini المستقل، لكن الدعوى تقول إن Emma استطاعت مع ذلك الوصول إلى روبوت المحادثة عبر AI Mode، الذي يتيح للمستخدمين طرح أسئلة متابعة أو بدء محادثة جديدة في البحث. ويقول محامي الأسرة، Andrew Liddell، إن نظام المراقبة في المدرسة أرسل في نهاية المطاف تنبيهًا إلى الهاتف الشخصي لمرشدة سابقة. وكانت المرشدة قد غادرت المدرسة قبل تسعة أشهر، لكنها أحالت التنبيه إلى موظفين حاليين، فتواصلوا مع والدة Emma.
تقول الدعوى إن والدة Emma دخلت إلى حساب ابنتها المدرسي ورأتها تكتب رسالة انتحار. وتقول الأسرة إن المدرسة استخدمت خدمة واحدة على الأقل لمراقبة الطلاب، ربما GoGuardian أو Gaggle، لكن Liddell يقول إنهم لا يعرفون على وجه الدقة الأدوات التي كانت مستخدمة. كما لا يُعرف ما إذا كانت هذه الأدوات تراقب محادثات AI Mode، أو مدى فاعليتها في رصد الأنشطة المثيرة للقلق هناك. ورفضت GoGuardian مناقشة أي طالب أو منطقة تعليمية بعينها، فيما لم ترد Gaggle على WIRED على الفور.
ما تقوله Google وأدوات السلامة المدرسية
قال المتحدث باسم Google، José Castañeda، إن الشركة تراجع الادعاءات الواردة في الدعوى. وأضاف أن أنظمة Google، ومنها AI Mode، تهدف إلى منع المحادثات الضارة، وأن الشركة تعاونت مع خبراء في الطب والأوساط الأكاديمية لتطوير خصائص دعم للشباب.
وتثير القضية أيضًا تساؤلات بشأن ما يمكن للمدارس توقعه من برامج المراقبة. فقد أظهر استطلاع أُجري عام 2022 وشمل 1,000 من العاملين في التعليم من الروضة حتى الصف الثاني عشر في الولايات المتحدة، أن 96 في المئة من مستخدمي Gaggle يعتقدون أن المنتج يساعد في حماية الطلاب من الانتحار أو إيذاء النفس. وقد رعت Gaggle الورقة البحثية، وتعكس النتيجة آراء المعلّمين، لا دليلًا على أن الأدوات ترصد كل إشارات التحذير بموثوقية. وقال Benjamin Boudreaux، الباحث في السياسات لدى Rand، لـWIRED إن على المدارس مراعاة حدود هذه الأنظمة وكيفية استجابة الموظفين للتنبيهات.
لماذا يهم
بالنسبة إلى الأسر والمدارس التي تستخدم برامج مراقبة الطلاب، تُظهر القضية أن التنبيه لا يفيد إلا إذا وصل إلى شخص قادر على التصرف. كما تطرح الدعوى سؤالًا عمليًا على فرق تقنية المعلومات في المدارس: هل تشمل أدوات المراقبة محادثات الذكاء الاصطناعي داخل البحث، لا موقع Gemini المستقل فحسب؟ لم تُختبر ادعاءات الأسرة أمام المحكمة، ولا يزال من غير الواضح ما منتجات المراقبة التي استخدمتها المدرسة.
