Un team guidato da Md Nishat Raihan ha pubblicato BanglaShield su arXiv. La risorsa contiene 10,245 prompt in bengalese, in tre forme di scrittura, ciascuno etichettato in base al livello di sicurezza. Nei test su sei modelli linguistici di grandi dimensioni attuali, questi hanno classificato come sicuro il 47 % dei prompt non sicuri scritti con caratteri bengalesi e il 63 % di quelli romanizzati. BanglaShield, un encoder compatto ottimizzato con fine-tuning, ha ottenuto un macro-F1 di 87.8 sui prompt scritti con caratteri bengalesi e di 84.4 su quelli romanizzati: circa 45 punti in più rispetto al miglior LLM, usando circa 130 × meno parametri.
Perché conta
Gli sviluppatori di applicazioni in bengalese possono usare BanglaShield per filtrare i contenuti non sicuri in modo più affidabile rispetto agli attuali classificatori basati su LLM.
