Prime Intellect a ajouté à Mega MoE de DeepSeek un kernel qui exécute le passage arrière en parallèle, permettant ainsi d’utiliser le système pour entraîner des modèles à mélange d’experts. L’entreprise affirme que ses kernels sont jusqu’à 3,11× plus rapides qu’une implémentation PyTorch par défaut, tandis que l’entraînement de bout en bout dans Prime-RL est jusqu’à 1,34× plus rapide que sa référence.
Les tests de bout en bout ont été réalisés avec des GPU H200 et des modèles Qwen3, sur des configurations de quatre et 16 nœuds. La prise en charge dépend du type de GPU : les kernels fonctionnent en bfloat16, tandis que certains formats FP8 sont réservés aux GPU Hopper ou Blackwell.
Pourquoi c'est important
Pour les équipes qui entraînent des modèles MoE sur des GPU Hopper ou Blackwell compatibles, ces kernels pourraient réduire le temps d’entraînement. Les gains annoncés proviennent toutefois des tests de Prime Intellect et ne sont pas nécessairement transposables à d’autres configurations.
