Prime Intellectは、DeepSeekのMega MoEシステムに逆伝播を重ねて実行するカーネルを追加し、Mixture-of-Experts（MoE）モデルの学習に使えるようにした。同社によると、このカーネルは標準のPyTorch実装より最大3.11倍高速で、Prime-RLでのエンドツーエンド学習はベースラインより最大1.34倍高速だった。
エンドツーエンドのテストにはH200 GPUとQwen3モデルを使用し、4ノード構成と16ノード構成で実施した。対応状況はGPUの種類によって異なる。カーネルはbfloat16に対応し、一部のFP8形式はHopperまたはBlackwell GPUに限られる。
なぜ重要か
対応するHopperまたはBlackwell GPUでMoEモデルを学習するチームにとって、これらのカーネルは学習時間の短縮につながる可能性がある。ただし、報告された速度向上はPrime Intellect独自のテストによるもので、ほかの構成でも同様の結果が得られるとは限らない。
