Md Nishat Raihan氏が率いるチームが、BanglaShieldをarXivで公開した。このリソースには、3種類の表記によるベンガル語のプロンプト10,245件が収録され、それぞれに安全性のラベルが付けられている。現行の大規模言語モデル6種類でテストしたところ、危険なプロンプトのうち、原文表記では47％、ローマ字表記では63％が安全だと判定された。一方、コンパクトなファインチューニング済みエンコーダーであるBanglaShieldは、原文表記のプロンプトでmacro-F1 87.8、ローマ字表記で84.4を達成。最良のLLMを約45ポイント上回り、パラメーター数は約130分の1だった。
なぜ重要か
ベンガル語アプリの開発者は、現行のLLMベースの分類器よりも高い信頼性で危険なコンテンツをフィルタリングするために、BanglaShieldを活用できる。
