Ein Team unter Leitung von Md Nishat Raihan hat BanglaShield auf arXiv veröffentlicht. Die Ressource umfasst 10,245 bengalische Prompts in drei Schreibweisen, die jeweils hinsichtlich ihrer Sicherheit bewertet wurden. Bei Tests mit sechs aktuellen großen Sprachmodellen stuften diese 47 % der unsicheren Prompts in bengalischer Schrift als sicher ein; bei romanisierten Texten waren es 63 %. BanglaShield, ein kompaktes, feinabgestimmtes Encoder-Modell, erzielte einen Macro-F1-Wert von 87.8 bei Prompts in bengalischer Schrift und 84.4 bei romanisierten Prompts. Damit übertraf es das beste LLM um rund 45 Punkte und benötigte etwa 130 × weniger Parameter.
Warum es wichtig ist
Entwickler bengalischsprachiger Anwendungen können mit BanglaShield unsichere Inhalte zuverlässiger herausfiltern als mit aktuellen LLM-basierten Klassifikatoren.
