В октябре 2025 года четверо чернокожих учеников Kenwood High School в округе Балтимор ели чипсы Cool Ranch Doritos после футбольной тренировки, когда система распознавания оружия на базе ИИ Omnilert отметила пакет чипсов как возможное огнестрельное оружие. Сигнал отменили менее чем через две минуты: сотрудники проверили изображение с камеры и не увидели оружия. Несмотря на отмену сигнала, представители школы вызвали полицию округа Балтимор. На место прибыли шесть патрульных машин с включёнными проблесковыми маячками; полицейские достали оружие.
Полицейские приказали подросткам лечь на землю, надели на них наручники и обыскали их и их вещи. Ни один из прибывших полицейских до этого не посмотрел видео, а ученикам так и не объяснили, почему их задержали. У подростков остались следы от наручников и длительное эмоциональное потрясение. Теперь они подали иск и требуют запретить BCPS использовать Omnilert, пока не будут введены новые правила и обучение сотрудников.
Что говорится в иске
В иске, поданном Комитетом юристов по гражданским правам в соответствии с законом (Lawyers’ Committee for Civil Rights Under Law), утверждается, что «чрезмерная зависимость школы от искусственного интеллекта» и недостаточная коммуникация нарушили конституционные права учеников. В иске также приводится отчёт Управления генерального инспектора (OIG), согласно которому более 99 % сигналов Omnilert об оружии в округе были ложными, а сотрудники школ не прошли надлежащую подготовку по работе с системой. OIG рекомендовало проводить обучение дважды в год и пересмотреть список получателей сигналов, но подростки считают эти меры недостаточными.
Ответ компании
Вице-президент по маркетингу Omnilert Блейк Митчелл заявил, что компания сожалеет о страхе, который вызвал инцидент. По его словам, система передаёт любые случаи возможного обнаружения огнестрельного оружия обученным сотрудникам для проверки. Он подчеркнул, что OIG не выявило предвзятости в работе самого ИИ, а проблема заключалась в том, как школа организовала передачу сигналов, а не в технологии.
Почему это важно
Для семей с детьми школьного возраста это дело показывает, что даже системы ИИ, призванные обеспечивать безопасность, могут давать опасные ложные сигналы — особенно если не работает человеческий контроль. Пока школы не ужесточат процедуры проверки, ученики могут и дальше подвергаться навязчивым действиям полиции из-за ошибочных сигналов ИИ.