I oktober 2025 åt fyra svarta elever på Kenwood High School i Baltimore County Cool Ranch Doritos efter fotbollsträningen när distriktets AI-system för vapendetektering, Omnilert, flaggade en chipspåse som ett möjligt skjutvapen. Larmet avbröts inom två minuter efter att personal granskat kamerabilderna och konstaterat att inget vapen syntes. Trots att larmet hade avskrivits kontaktade skolledningen Baltimore County Police Department. Sex patrullbilar anlände med blåljusen på och poliserna med dragna vapen.
Poliserna beordrade tonåringarna att lägga sig på marken, satte handbojor på dem och visiterade dem och deras tillhörigheter. Ingen av poliserna hade tittat på videon före ingripandet, och eleverna fick aldrig veta varför de hölls kvar. Händelsen lämnade märken efter handbojorna och orsakade långvarigt psykiskt lidande. Nu har de väckt talan och begär ett domstolsbeslut som förbjuder BCPS att använda Omnilert tills nya rutiner och utbildningar införs.
Det här står i stämningsansökan
Anmälan, som lämnats in av Lawyers’ Committee for Civil Rights Under Law, hävdar att skolans ”alltför stora tillit till artificiell intelligens” och bristfälliga kommunikation kränkte elevernas grundlagsskyddade rättigheter. Den hänvisar till en rapport från Office of the Inspector General (OIG), där det framgår att mer än 99 % av Omnilerts vapenlarm i distriktet var falsklarm och att skolpersonalen inte hade fått tillräcklig utbildning i systemet. OIG rekommenderade utbildning två gånger om året och en översyn av vilka som får larmen, men tonåringarna anser att det inte räcker.
Företagets svar
Omnilerts marknadschef Blake Mitchell sade att företaget beklagar den rädsla som uppstod och att systemet är utformat för att skicka alla möjliga vapendetekteringar till utbildade personer för granskning. Han betonade att OIG inte fann några tecken på partiskhet i själva AI:n och att problemet låg i skolans rutiner för vidarebefordran, inte i tekniken.
Varför det spelar roll
För familjer med barn i skolåldern visar fallet att AI-verktyg för säkerhet ändå kan utlösa farliga falsklarm, särskilt när den mänskliga tillsynen brister. Så länge skolorna inte skärper granskningsrutinerna riskerar elever att utsättas för ingripande polisiära åtgärder på grund av felaktiga AI-larm.