Oossa

벵골어 안전성 분류기 ‘BanglaShield’, 문자 표기 달라도 정확히 판별

연구진이 벵골어 원문자·로마자 표기·코드 혼용 문장의 유해성을 탐지하는 미세조정 모델 BanglaShield를 공개했다. 기존 LLM 분류기보다 정확도가 크게 높다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

Md Nishat Raihan이 이끄는 연구팀이 arXiv에 BanglaShield를 공개했다. 이 자료에는 벵골어 프롬프트 10,245개가 세 가지 문자 표기 형태로 담겼으며, 각각 안전성 라벨이 붙어 있다. 최신 대규모 언어 모델 6종을 대상으로 시험한 결과, 모델들은 벵골어 원문자 표기의 유해한 프롬프트 중 47%를 안전하다고 판정했고, 로마자 표기에서는 그 비율이 63%에 달했다. 소형 미세조정 인코더인 BanglaShield는 원문자 프롬프트에서 매크로 F1 점수 87.8, 로마자 프롬프트에서 84.4를 기록했다. 이는 가장 성능이 좋은 LLM보다 약 45점 높은 점수이며, 매개변수는 약 130분의 1만 사용한다.

왜 중요한가

벵골어 애플리케이션 개발자는 BanglaShield를 활용해 기존 LLM 기반 분류기보다 더 안정적으로 유해 콘텐츠를 걸러낼 수 있다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.