Команда под руководством Md Nishat Raihan опубликовала BanglaShield на arXiv. В набор входят 10,245 запросов на бенгали в трёх вариантах написания, каждый размечен с точки зрения безопасности. При проверке шести современных больших языковых моделей выяснилось, что они считали безопасными 47 % небезопасных запросов, написанных родным письмом, и 63 % запросов, записанных латиницей. Компактный дообученный энкодер BanglaShield показал макро-F1 87.8 на запросах в родном письме и 84.4 — на записанных латиницей. Он обошёл лучшую LLM примерно на 45 пунктов, используя при этом примерно в 130 × меньше параметров.
Почему это важно
Разработчики приложений на бенгали могут использовать BanglaShield, чтобы надёжнее фильтровать небезопасный контент, чем с помощью нынешних классификаторов на базе LLM.
