2025년 10월, 볼티모어 카운티 켄우드 고등학교 학생 4명이 미식축구 연습을 마친 뒤 쿨랜치 도리토스를 먹고 있을 때, 교육구의 AI 총기 탐지 시스템인 Omnilert가 과자 봉지를 총기일 가능성이 있는 물체로 감지했다. 교직원들이 카메라 영상을 확인해 무기가 없다는 사실을 파악한 뒤 2분 만에 경보를 취소했다. 그러나 학교 관계자들은 볼티모어 카운티 경찰에 신고했고, 경광등을 켠 순찰차 6대가 도착한 가운데 경찰관들은 총을 겨눴다.
경찰관들은 학생들에게 바닥에 엎드리라고 명령한 뒤 수갑을 채우고 학생들과 소지품을 수색했다. 출동한 경찰관 중 영상 내용을 미리 본 사람은 없었으며, 학생들은 자신들이 왜 제지당하는지 듣지 못했다. 이 사건으로 학생들은 수갑 자국이 남았고 오랫동안 정신적 고통을 겪었다. 이들은 새 절차와 교육이 마련될 때까지 BCPS가 Omnilert를 사용하지 못하도록 하는 가처분을 신청하는 소송을 제기했다.
소송의 주장
민권단체 Lawyers’ Committee for Civil Rights Under Law가 제기한 소장에 따르면, 학교의 “인공지능에 대한 지나친 의존”과 미흡한 의사소통은 학생들의 헌법상 권리를 침해했다. 소장은 교육구 내 Omnilert 총기 경보의 99 % 이상이 오탐이었고 교직원들이 시스템 사용법을 제대로 교육받지 않았다는 감사관실(OIG) 보고서를 근거로 들었다. OIG는 연 2회 교육과 경보 수신 대상자 검토를 권고했지만, 학생들은 그런 조치만으로는 충분하지 않다고 주장한다.
회사 측 입장
Omnilert의 마케팅 담당 부사장 Blake Mitchell은 이번 일로 두려움을 겪게 한 데 대해 회사가 사과한다고 밝혔다. 또 이 시스템은 총기일 가능성이 있는 물체를 감지하면 교육을 받은 사람이 검토하도록 알림을 보내도록 설계됐다고 설명했다. 그는 OIG가 AI 자체에는 편향이 없다고 판단했다며, 문제는 기술이 아니라 학교의 경보 전달 절차에 있었다고 강조했다.
왜 중요한가
학령기 자녀를 둔 가정에 이번 사건은 AI 안전 도구도 위험한 오경보를 낼 수 있으며, 사람의 감독이 제대로 이뤄지지 않으면 그 위험이 커진다는 점을 보여준다. 학교가 검토 절차를 강화하지 않는 한, 학생들은 부정확한 AI 경보만으로 경찰의 강압적 조치를 받을 수 있다.