Une équipe dirigée par Md Nishat Raihan a publié BanglaShield sur arXiv. Cette ressource contient 10,245 prompts en bengali sous trois formes d’écriture, chacun associé à une étiquette de sécurité. Lors de tests sur six grands modèles de langage actuels, ceux-ci ont considéré comme sûrs 47 % des prompts dangereux écrits dans l’alphabet bengali, et 63 % de ceux translittérés en caractères latins. BanglaShield, un encodeur compact affiné, a obtenu un macro-F1 de 87.8 pour les prompts écrits dans l’alphabet bengali et de 84.4 pour ceux translittérés en caractères latins. Il devance ainsi le meilleur LLM d’environ 45 points, tout en utilisant près de 130 × moins de paramètres.
Pourquoi c'est important
Les développeurs d’applications en bengali peuvent utiliser BanglaShield pour filtrer les contenus dangereux de façon plus fiable qu’avec les classificateurs actuels fondés sur des LLM.
