2025年10月、ボルティモア郡のケンウッド高校で、黒人の生徒4人がフットボールの練習後にCool Ranch Doritosを食べていたところ、学区のAI銃器検知システムOmnilertがチップスの袋を銃器の可能性があるものとして検知した。職員がカメラ映像を確認し、武器がないとわかったため、警報は2分以内に取り消された。それにもかかわらず、学校側はボルティモア郡警察に通報。警察車両6台がライトを点滅させて到着し、警官は銃を構えた。
警官は生徒たちに地面に伏せるよう命じ、手錠をかけ、身体と所持品を調べた。対応にあたった警官は誰も出動前に映像を見ておらず、生徒たちは拘束された理由も知らされなかった。この出来事で、生徒たちには手錠の跡が残り、心にも長く続く苦痛が生じた。生徒たちはこのほど、BCPSに対し、新たな手順と研修が整うまでOmnilertの使用を停止するよう求める差し止め請求を起こした。
訴状の主張
法律団体Lawyers’ Committee for Civil Rights Under Lawが提出した訴状は、学校が「人工知能に過度に依存」し、連絡体制も不十分だったため、生徒たちの憲法上の権利が侵害されたと主張している。訴状は、郡のOmnilertによる銃器検知の警報の99%超が誤検知で、学校職員もシステムについて適切な研修を受けていなかったとする監察総監室(OIG)の報告書を引用している。OIGは年2回の研修と、警報を受け取る人員の見直しを勧告したが、生徒たちはそれだけでは不十分だとしている。
企業側の対応
Omnilertのマーケティング担当副社長、Blake Mitchellは、恐怖を引き起こしたことを遺憾に思うと述べた。また、このシステムは銃器の可能性を検知した場合、訓練を受けた人間が確認できるよう通知する設計だと説明した。さらに、OIGはAIそのものに偏りはないと判断しており、問題は技術ではなく学校側の対応手順にあったと強調した。
なぜ重要か
学齢期の子どもを持つ家庭にとって、この訴訟は、AIを使った安全対策でも危険な誤報が起こり得ること、特に人による監督が機能しない場合にはその危険が高まることを示している。学校が確認手順を強化するまでは、不正確なAI警報をもとに生徒が警察から侵襲的な対応を受ける事態が続くおそれがある。