Prime Intellect가 DeepSeek의 Mega MoE 시스템에 역전파를 겹쳐 실행하는 커널을 추가해 혼합 전문가(MoE) 모델 학습에 사용할 수 있게 했다. 회사에 따르면 이 커널은 PyTorch 기본 구현보다 최대 3.11배 빨랐으며, Prime-RL에서 종단 간 학습 속도는 기준 구현보다 최대 1.34배 빨랐다.
종단 간 테스트는 H200 GPU와 Qwen3 모델을 사용해 4노드 및 16노드 구성에서 진행됐다. 지원 여부는 GPU 종류에 따라 다르다. 커널은 bfloat16을 지원하며, 일부 FP8 형식은 Hopper 또는 Blackwell GPU에서만 사용할 수 있다.
왜 중요한가
지원되는 Hopper 또는 Blackwell GPU에서 MoE 모델을 학습하는 팀은 이 커널로 학습 시간을 줄일 수 있다. 다만 보고된 속도 향상은 Prime Intellect 자체 테스트 결과로, 다른 환경에서도 동일하게 나타난다고 보장할 수 없다.
