언어학자와 엔지니어로 구성된 연구팀이 세네갈에서 약 23 million명이 사용하는 언어인 Wolof를 이해하고 생성하는 오픈 웨이트 언어 모델 제품군을 공개했다. 모델 규모는 매개변수 0.6 billion~14 billion이며, 오픈 라이선스로 배포돼 누구나 내려받아 로컬에서 실행할 수 있다. 논문에 따르면 8 billion 및 14 billion 버전은 Wolof 관련 작업에서 훨씬 규모가 큰 상용 시스템과 대등한 성능을 보이면서 다른 언어도 잘 처리한다.
논문에서 밝힌 내용
저자들은 먼저 기본 모델을 Wolof 텍스트로 미세 조정한 뒤, 지시문 튜닝(모델이 프롬프트를 따르는 방법을 학습시키는 과정)과 선호도 정렬(사람의 판단에 맞춰 출력을 최적화하는 과정)을 적용하는 절차를 설명한다. 성능 향상을 위해 모델을 병합하기도 했다. 번역, 질의응답, 텍스트 생성 등을 포함해 공개 및 내부 과제 63개를 대상으로 실험했다. 결과에서는 8 B 및 14 B 모델이 특히 경쟁력 있는 것으로 나타났다.
이용 방법
모델은 이미 내부 고객 지원 시범 운영에서 시험 중이며, 코드와 가중치는 논문에 기재된 공개 URL에서 이용할 수 있다. 내려받기 비용은 언급되지 않았다. 가중치가 오픈 웨이트로 공개돼 있어 사용자는 API 이용료를 내지 않고 자체 하드웨어에서 모델을 실행할 수 있다.
왜 중요한가
Wolof 사용자와 세네갈 기업은 비용이 많이 드는 API 서비스 대신 무료로 자체 호스팅할 수 있는 모델을 활용할 수 있다. 이를 통해 챗봇이나 번역 도구를 만들 때 비용을 줄이고 데이터 개인정보 보호 우려를 피할 수 있다. 다만 저자들의 실험을 넘어선 주장을 독립적으로 검증하는 작업은 아직 이뤄지지 않았다.
