Md Nishat Raihan liderliğindeki ekip, BanglaShield’ı arXiv’de yayımladı. Kaynak, üç farklı yazım biçiminde sunulan ve her biri güvenlik açısından etiketlenen 10,245 Bengalce istem içeriyor. Güncel altı büyük dil modeliyle yapılan testlerde modeller, yerel alfabeyle yazılmış güvenli olmayan istemlerin %47’sini, Latin harfleriyle yazılanların ise %63’ünü güvenli olarak sınıflandırdı. Kompakt ve ince ayar yapılmış bir kodlayıcı olan BanglaShield, yerel alfabeli istemlerde 87.8, Latin harfli istemlerde 84.4 makro-F1 puanına ulaştı. Böylece en iyi LLM’yi yaklaşık 45 puan geride bırakırken yaklaşık 130 kat daha az parametre kullandı.
Neden önemli
Bengalce uygulama geliştirenler, güvenli olmayan içerikleri mevcut LLM tabanlı sınıflandırıcılardan daha güvenilir biçimde filtrelemek için BanglaShield’ı kullanabilir.
