Uma equipe liderada por Md Nishat Raihan publicou o BanglaShield no arXiv. O conjunto de dados reúne 10,245 prompts em bengali, escritos em três formas de escrita e classificados quanto à segurança. Em testes com seis modelos de linguagem grandes atuais, eles classificaram como seguros 47 % dos prompts inseguros escritos no alfabeto nativo e 63 % dos escritos com caracteres latinos. O BanglaShield, um modelo compacto de codificador ajustado, obteve macro-F1 de 87.8 nos prompts no alfabeto nativo e 84.4 nos escritos com caracteres latinos. Com isso, superou o melhor LLM em cerca de 45 pontos e usou aproximadamente 130 × menos parâmetros.
Por que importa
Desenvolvedores de aplicativos em bengali podem usar o BanglaShield para filtrar conteúdo inseguro com mais confiabilidade do que os classificadores atuais baseados em LLMs.
