Prime Intellect为Mega MoE内核加入训练支持

Prime Intellect已为DeepSeek的Mega MoE系统加入一个可与前向计算重叠的反向传播内核，使其能够用于训练混合专家模型。该公司称，这些内核的速度最高可达默认PyTorch实现的3.11倍；在Prime-RL中，端到端训练速度最高可达基准的1.34倍。

端到端测试使用H200 GPU和Qwen3模型，分别在4节点和16节点配置下进行。支持情况取决于GPU类型：这些内核支持bfloat16，而部分FP8格式仅适用于Hopper或Blackwell GPU。