# Prime Intellect为Mega MoE内核加入训练支持

> Prime Intellect称，其融合内核在测试中比PyTorch基准实现快至3.11倍，训练吞吐量提升34%。

Oossa · 2026-10-26 · https://oossa.com/zh/prime-intellect-adds-training-support-to-mega-moe-kernels

Prime Intellect已为DeepSeek的Mega MoE系统加入一个可与前向计算重叠的反向传播内核，使其能够用于训练混合专家模型。该公司称，这些内核的速度最高可达默认PyTorch实现的3.11倍；在Prime-RL中，端到端训练速度最高可达基准的1.34倍。

端到端测试使用H200 GPU和Qwen3模型，分别在4节点和16节点配置下进行。支持情况取决于GPU类型：这些内核支持bfloat16，而部分FP8格式仅适用于Hopper或Blackwell GPU。

## 事实

- Prime Intellect称，其MoE内核速度最高可达默认PyTorch实现的3.11倍。
- 该公司称，端到端训练速度最高可达基准的1.34倍，相当于吞吐量提升34%。

## 为什么重要

对于使用受支持的Hopper或Blackwell GPU训练MoE模型的团队，这些内核有望缩短训练时间。不过，相关加速数据来自Prime Intellect自己的测试，未必适用于其他配置。

## 来源与参考

1. [ResearchOCT 23RD, 2026Prime Mega MoE: Fast Fused MoE Kernels for Training](https://www.primeintellect.ai/blog/prime-mega-moe) – Prime Intellect

最后更新: 2026-10-26