由 Md Nishat Raihan 领衔的团队在 arXiv 上发布了 BanglaShield。这套资源包含 10,245 条以三种文字形式呈现的孟加拉语提示,每条都标注了安全类别。在对六款当前大语言模型进行测试时,这些模型将 47% 的不安全本土文字提示判定为安全;对于罗马字转写文本,这一比例达到 63%。BanglaShield 是一款经过微调、体量精简的编码器模型,在本土文字提示和罗马字转写提示上的 macro-F1 分别达到 87.8 和 84.4,比表现最好的大语言模型高出约 45 个百分点,参数量则约少 130 倍。
为什么重要
孟加拉语应用开发者可以使用 BanglaShield,比现有基于大语言模型的分类器更可靠地过滤不安全内容。