Oossa

BanglaShield:可识别不同文字形式孟加拉语的安全分类器

研究人员发布 BanglaShield,这款微调模型可检测使用本土文字、罗马字转写及混合形式的孟加拉语中的不安全内容,准确率远高于现有大语言模型分类器。

简讯作者: Oossa 发布日期: 1 分钟阅读

由 Md Nishat Raihan 领衔的团队在 arXiv 上发布了 BanglaShield。这套资源包含 10,245 条以三种文字形式呈现的孟加拉语提示,每条都标注了安全类别。在对六款当前大语言模型进行测试时,这些模型将 47% 的不安全本土文字提示判定为安全;对于罗马字转写文本,这一比例达到 63%。BanglaShield 是一款经过微调、体量精简的编码器模型,在本土文字提示和罗马字转写提示上的 macro-F1 分别达到 87.8 和 84.4,比表现最好的大语言模型高出约 45 个百分点,参数量则约少 130 倍。

为什么重要

孟加拉语应用开发者可以使用 BanglaShield,比现有基于大语言模型的分类器更可靠地过滤不安全内容。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。