En forskargrupp under ledning av Md Nishat Raihan publicerade BanglaShield på arXiv. Resursen innehåller 10,245 prompter på bengali i tre olika skriftsätt, alla märkta utifrån säkerhet. När sex aktuella stora språkmodeller testades klassade de 47 % av de osäkra prompterna i originalskrift som säkra, och 63 % när texten var transkriberad med latinska bokstäver. BanglaShield, en kompakt och finjusterad kodarmodell, fick 87.8 i macro-F1 för prompter i originalskrift och 84.4 för transkriberade prompter. Det var cirka 45 poäng bättre än den bästa LLM-modellen, samtidigt som modellen hade ungefär 130 × färre parametrar.
Varför det spelar roll
Utvecklare av bengaliskspråkiga appar kan använda BanglaShield för att filtrera bort osäkert innehåll mer tillförlitligt än med dagens LLM-baserade klassificerare.
