# Prime Intellect, Mega MoE 커널에 학습 지원 추가

> Prime Intellect는 자사의 융합 커널이 PyTorch 기본 구현보다 최대 3.11배 빠르고, 자체 테스트에서 학습 처리량을 34% 높였다고 밝혔다.

Oossa · 2026-10-26 · https://oossa.com/ko/prime-intellect-adds-training-support-to-mega-moe-kernels

Prime Intellect가 DeepSeek의 Mega MoE 시스템에 역전파를 겹쳐 실행하는 커널을 추가해 혼합 전문가(MoE) 모델 학습에 사용할 수 있게 했다. 회사에 따르면 이 커널은 PyTorch 기본 구현보다 최대 3.11배 빨랐으며, Prime-RL에서 종단 간 학습 속도는 기준 구현보다 최대 1.34배 빨랐다.

종단 간 테스트는 H200 GPU와 Qwen3 모델을 사용해 4노드 및 16노드 구성에서 진행됐다. 지원 여부는 GPU 종류에 따라 다르다. 커널은 bfloat16을 지원하며, 일부 FP8 형식은 Hopper 또는 Blackwell GPU에서만 사용할 수 있다.

## 팩트

- Prime Intellect는 MoE 커널이 PyTorch 기본 구현보다 최대 3.11배 빠르다고 밝혔다.
- 회사는 종단 간 학습 속도가 최대 1.34배 빨라져 처리량이 34% 증가했다고 밝혔다.

## 왜 중요한가

지원되는 Hopper 또는 Blackwell GPU에서 MoE 모델을 학습하는 팀은 이 커널로 학습 시간을 줄일 수 있다. 다만 보고된 속도 향상은 Prime Intellect 자체 테스트 결과로, 다른 환경에서도 동일하게 나타난다고 보장할 수 없다.

## 출처 및 참고 자료

1. [ResearchOCT 23RD, 2026Prime Mega MoE: Fast Fused MoE Kernels for Training](https://www.primeintellect.ai/blog/prime-mega-moe) – Prime Intellect

최종 업데이트: 2026-10-26