Md Nishat Raihan이 이끄는 연구팀이 arXiv에 BanglaShield를 공개했다. 이 자료에는 벵골어 프롬프트 10,245개가 세 가지 문자 표기 형태로 담겼으며, 각각 안전성 라벨이 붙어 있다. 최신 대규모 언어 모델 6종을 대상으로 시험한 결과, 모델들은 벵골어 원문자 표기의 유해한 프롬프트 중 47%를 안전하다고 판정했고, 로마자 표기에서는 그 비율이 63%에 달했다. 소형 미세조정 인코더인 BanglaShield는 원문자 프롬프트에서 매크로 F1 점수 87.8, 로마자 프롬프트에서 84.4를 기록했다. 이는 가장 성능이 좋은 LLM보다 약 45점 높은 점수이며, 매개변수는 약 130분의 1만 사용한다.
왜 중요한가
벵골어 애플리케이션 개발자는 BanglaShield를 활용해 기존 LLM 기반 분류기보다 더 안정적으로 유해 콘텐츠를 걸러낼 수 있다.