# Prime Intellect ajoute la prise en charge de l’entraînement aux kernels Mega MoE

> Prime Intellect affirme que ses kernels fusionnés sont jusqu’à 3,11× plus rapides qu’une implémentation PyTorch de référence et augmentent le débit d’entraînement de 34 % lors de ses tests.

Oossa · 2026-10-26 · https://oossa.com/fr/prime-intellect-adds-training-support-to-mega-moe-kernels

Prime Intellect a ajouté à Mega MoE de DeepSeek un kernel qui exécute le passage arrière en parallèle, permettant ainsi d’utiliser le système pour entraîner des modèles à mélange d’experts. L’entreprise affirme que ses kernels sont jusqu’à 3,11× plus rapides qu’une implémentation PyTorch par défaut, tandis que l’entraînement de bout en bout dans Prime-RL est jusqu’à 1,34× plus rapide que sa référence.

Les tests de bout en bout ont été réalisés avec des GPU H200 et des modèles Qwen3, sur des configurations de quatre et 16 nœuds. La prise en charge dépend du type de GPU : les kernels fonctionnent en bfloat16, tandis que certains formats FP8 sont réservés aux GPU Hopper ou Blackwell.

## Les faits

- Prime Intellect annonce des kernels MoE jusqu’à 3,11× plus rapides que son implémentation PyTorch par défaut.
- L’entreprise annonce un entraînement de bout en bout jusqu’à 1,34× plus rapide, soit un débit supérieur de 34 %.

## Pourquoi c'est important

Pour les équipes qui entraînent des modèles MoE sur des GPU Hopper ou Blackwell compatibles, ces kernels pourraient réduire le temps d’entraînement. Les gains annoncés proviennent toutefois des tests de Prime Intellect et ne sont pas nécessairement transposables à d’autres configurations.

## Sources et références

1. [ResearchOCT 23RD, 2026Prime Mega MoE: Fast Fused MoE Kernels for Training](https://www.primeintellect.ai/blog/prime-mega-moe) – Prime Intellect

Dernière mise à jour: 2026-10-26