Een team onder leiding van Md Nishat Raihan publiceerde BanglaShield op arXiv. De dataset bevat 10,245 Bengaalse prompts in drie schriftvormen, elk voorzien van een veiligheidslabel. Bij tests met zes actuele grote taalmodellen bestempelden die modellen 47 % van de onveilige prompts in het Bengaalse schrift als veilig, en 63 % wanneer de tekst was geromaniseerd. BanglaShield, een compacte, fijn afgestemde encoder, behaalde een macro-F1-score van 87.8 voor prompts in het Bengaalse schrift en 84.4 voor geromaniseerde prompts. Daarmee presteerde het model ongeveer 45 punten beter dan de beste LLM, terwijl het ongeveer 130 × minder parameters gebruikte.
Waarom het ertoe doet
Ontwikkelaars van Bengaalse taaltoepassingen kunnen BanglaShield gebruiken om onveilige inhoud betrouwbaarder te filteren dan met de huidige classifiers op basis van LLM’s.
