비드래프트는 추론 전용 NPU만 사용해 소형 언어모델 ‘VKORE-46M-NPU’를 처음부터 사전학습했다고 밝혔습니다. 회사는 2025년에 출시된 1세대 NPU에서 학습했고, 같은 조건의 GPU 학습과 비교해 손실 곡선과 처리량이 동등한 수준으로 수렴했다고 설명했습니다. 두 학습의 손실 궤적 상관계수는 0.99였다고 회사는 덧붙였습니다.
모델 가중치와 분석 자료는 Hugging Face에 공개됐지만, 자체 개발한 핵심 학습 기법과 코드는 공개되지 않았습니다. 비드래프트는 해당 기법의 특허를 출원 중이며, 자세한 내용은 추후 논문으로 공개할 예정입니다.
왜 중요한가
사내에서 모델을 개발하려는 기업은 GPU 외의 학습 장비 선택지를 검토할 수 있지만, 핵심 학습 코드가 공개되지 않아 다른 환경에서 재현할 수 있는지는 아직 알 수 없습니다.