Oossa

비드래프트, 추론용 NPU로 4,600만 매개변수 모델 사전학습

비드래프트가 GPU 없이 추론 전용 NPU로 모델을 처음부터 학습했다고 밝혔습니다. 가중치는 공개했지만 핵심 학습 코드는 공개하지 않았습니다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

비드래프트는 추론 전용 NPU만 사용해 소형 언어모델 ‘VKORE-46M-NPU’를 처음부터 사전학습했다고 밝혔습니다. 회사는 2025년에 출시된 1세대 NPU에서 학습했고, 같은 조건의 GPU 학습과 비교해 손실 곡선과 처리량이 동등한 수준으로 수렴했다고 설명했습니다. 두 학습의 손실 궤적 상관계수는 0.99였다고 회사는 덧붙였습니다.

모델 가중치와 분석 자료는 Hugging Face에 공개됐지만, 자체 개발한 핵심 학습 기법과 코드는 공개되지 않았습니다. 비드래프트는 해당 기법의 특허를 출원 중이며, 자세한 내용은 추후 논문으로 공개할 예정입니다.

왜 중요한가

사내에서 모델을 개발하려는 기업은 GPU 외의 학습 장비 선택지를 검토할 수 있지만, 핵심 학습 코드가 공개되지 않아 다른 환경에서 재현할 수 있는지는 아직 알 수 없습니다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.