Oossa

Microsoft, 2.8조 매개변수 MAI-Base-2 사전 학습 완료

Microsoft가 자체 모델 MAI-Base-2의 사전 학습을 마쳤다고 발표했습니다. 제품은 아직 사후 학습 단계이며, 평가는 회사 자체 결과입니다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

Microsoft는 매개변수 2조8000억 개 규모의 MoE 모델 MAI-Base-2의 사전 학습을 마쳤다고 발표했습니다. 토큰을 처리할 때 활성화되는 매개변수는 800억 개입니다. 회사는 자체 평가에서 비교한 모든 오픈웨이트 모델보다 높은 성능을 냈고, DeepSeek-V4-Pro-Base보다 사전 학습 연산 효율이 4.2~12.3배 높았다고 밝혔습니다. 다만 실제 총학습 연산량은 DeepSeek 모델보다 많았으며, MAI-Base-2는 아직 사후 학습 중입니다. Microsoft는 자사 제품에 먼저 적용하고, 이후 기업 고객에게 Foundry를 통해 가중치를 제공할 계획입니다.

왜 중요한가

기업 고객은 향후 Microsoft 제품에서 자체 모델을 선택할 가능성이 있지만, 가중치 제공 시기와 실제 서비스 성능은 아직 공개되지 않았습니다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.