바이두가 11월 5일 ‘ERNIE 5.5 Flash Base’의 가중치를 공개했다. 사전학습을 마친 뒤 지시문 학습이나 강화학습은 거치지 않은 모델이다. 개발자는 이 가중치를 바탕으로 특정 업무에 맞게 추가 학습할 수 있다. 다만 바이두가 정한 사용 허가 지역에 한국과 유럽연합(EU), 영국은 포함되지 않는다.
모델은 매개변수 2800억 개를 갖춘 전문가 혼합(MoE) 구조다. 입력 토큰을 처리할 때 실제로 활성화되는 매개변수는 140억 개다. 바이두는 33조5000억 개의 토큰으로 모델을 사전학습했다고 밝혔다. 공식 모델 설명에 따르면 학습 때 문맥 길이는 최대 12만8000토큰이고, 추가 학습과 추론에서는 최대 100만 토큰을 지원한다.
개발자가 이어서 학습하는 모델
바이두는 자체 평가에서 ERNIE 5.5 Flash Base가 비슷한 규모의 중국 베이스 모델 4종을 대상으로 한 벤치마크 30개 가운데 24개에서 가장 높은 점수를 기록했다고 밝혔다. 평가에는 DeepSeek-V4-Flash-Base, Tencent의 Hy3-preview-Base, Xiaomi의 MiMo-V2.5-Base가 포함됐다. 바이두의 설명에 따르면 네 모델은 같은 평가 절차와 프롬프트, 퓨샷 설정으로 비교됐다.
예를 들어 지식과 추론을 평가하는 MMLU-Pro에서 바이두 모델은 78.4점을 받았다. DeepSeek 모델은 69.2점, Tencent 모델은 66.9점, Xiaomi 모델은 65.7점이었다. 코딩 평가 HumanEval+ 점수는 82.3점이었다. 반면 중국어 지식 평가와 일부 긴 문맥 과제에서는 경쟁 모델이 앞섰다. 이 결과는 바이두가 공개한 자체 평가이며, 독립 기관의 검증 결과는 확인되지 않았다. 또 비교 대상은 모두 베이스 모델이라 완성형 챗봇의 성능을 직접 비교한 결과는 아니다.
가중치 공개와 자유 이용은 다르다
베이스 모델은 사용자의 지시에 답하도록 조정된 완성형 챗봇과 다르다. 개발자는 지시문 학습이나 강화학습을 직접 거쳐야 한다. 바이두는 전문 분야에 맞춘 모델, 추론 능력 개선, AI 에이전트 개발을 활용 사례로 들었다. 공개된 가중치는 Hugging Face와 ModelScope에서 받을 수 있고, FP8과 BF16 형식이 제공된다.
하지만 가중치를 내려받을 수 있다고 누구나 자유롭게 쓰거나 수정·배포할 수 있는 것은 아니다. AI Times에 따르면 바이두 라이선스는 한국·EU·영국을 사용 허가 지역에서 제외했고, 제외 이유는 밝히지 않았다. 연 매출 5000만 달러 이하 제품이나 서비스는 별도 사용료 없이 쓸 수 있지만 바이두에 미리 알리고 출처를 표시해야 한다. 이 기준을 넘으면 별도의 서면 승인이 필요하다.
왜 중요한가
한국의 개발자와 기업은 가중치를 내려받더라도 바이두 라이선스만으로 이 모델을 사용할 권한을 얻지 못한다. 허가 지역 안에서도 매출이 연 5000만 달러를 넘으면 서면 승인이 필요하므로, 도입 전에는 지역과 매출 조건을 확인해야 한다.
