Prime Intellect añadió a Mega MoE de DeepSeek un kernel que solapa el paso hacia atrás, lo que permite usar el sistema para entrenar modelos de mezcla de expertos. La empresa afirma que los kernels fueron hasta 3,11× más rápidos que una implementación predeterminada de PyTorch, mientras que el entrenamiento de principio a fin en Prime-RL fue hasta 1,34× más rápido que su versión de referencia.
Las pruebas de principio a fin se realizaron con GPU H200 y modelos Qwen3 en configuraciones de cuatro y 16 nodos. La compatibilidad depende del tipo de GPU: los kernels admiten bfloat16, mientras que algunos formatos FP8 están limitados a GPU Hopper o Blackwell.
Por qué importa
Para los equipos que entrenan modelos MoE en GPU Hopper o Blackwell compatibles, los kernels podrían reducir el tiempo de entrenamiento, aunque las mejoras de velocidad comunicadas proceden de las pruebas de Prime Intellect y quizá no se reproduzcan en otras configuraciones.
