# Prime Intellect、Mega MoEカーネルに学習機能を追加

> Prime Intellectによると、融合カーネルはPyTorchのベースラインより最大3.11倍高速で、自社テストでは学習スループットが34%向上した。

Oossa · 2026-10-26 · https://oossa.com/ja/prime-intellect-adds-training-support-to-mega-moe-kernels

Prime Intellectは、DeepSeekのMega MoEシステムに逆伝播を重ねて実行するカーネルを追加し、Mixture-of-Experts（MoE）モデルの学習に使えるようにした。同社によると、このカーネルは標準のPyTorch実装より最大3.11倍高速で、Prime-RLでのエンドツーエンド学習はベースラインより最大1.34倍高速だった。

エンドツーエンドのテストにはH200 GPUとQwen3モデルを使用し、4ノード構成と16ノード構成で実施した。対応状況はGPUの種類によって異なる。カーネルはbfloat16に対応し、一部のFP8形式はHopperまたはBlackwell GPUに限られる。

## 事実

- Prime Intellectは、標準のPyTorch実装と比べてMoEカーネルが最大3.11倍高速になったと報告している。
- 同社は、エンドツーエンド学習が最大1.34倍高速になり、スループットが34%向上したと報告している。

## なぜ重要か

対応するHopperまたはBlackwell GPUでMoEモデルを学習するチームにとって、これらのカーネルは学習時間の短縮につながる可能性がある。ただし、報告された速度向上はPrime Intellect独自のテストによるもので、ほかの構成でも同様の結果が得られるとは限らない。

## 出典と参考資料

1. [ResearchOCT 23RD, 2026Prime Mega MoE: Fast Fused MoE Kernels for Training](https://www.primeintellect.ai/blog/prime-mega-moe) – Prime Intellect

最終更新: 2026-10-26