# Prime Intellect voegt trainingsondersteuning toe aan Mega MoE-kernels

> Volgens Prime Intellect zijn de gefuseerde kernels in tests tot 3,11× sneller dan een standaardimplementatie in PyTorch en verhogen ze de trainingsdoorvoer met 34%.

Oossa · 2026-10-26 · https://oossa.com/nl/prime-intellect-adds-training-support-to-mega-moe-kernels

Prime Intellect heeft een kernel voor overlappende achterwaartse passes toegevoegd aan DeepSeeks Mega MoE-systeem, waardoor het geschikt is voor het trainen van mixture-of-experts-modellen. Het bedrijf zegt dat de kernels tot 3,11× sneller waren dan een standaardimplementatie in PyTorch. De training van begin tot eind in Prime-RL was tot 1,34× sneller dan met de baseline.

De tests voor de training van begin tot eind werden uitgevoerd met H200-GPU's en Qwen3-modellen in opstellingen met vier en 16 nodes. De ondersteuning hangt af van het GPU-type: de kernels ondersteunen bfloat16, terwijl sommige FP8-indelingen alleen werken op Hopper- of Blackwell-GPU's.

## De feiten

- Prime Intellect meldt dat zijn MoE-kernels tot 3,11× sneller zijn dan de standaardimplementatie in PyTorch.
- Het bedrijf meldt dat de training van begin tot eind tot 1,34× sneller verloopt, wat neerkomt op 34% meer doorvoer.

## Waarom het ertoe doet

Voor teams die MoE-modellen trainen op ondersteunde Hopper- of Blackwell-GPU's kunnen de kernels de trainingstijd verkorten. De gemelde snelheidswinst is echter gebaseerd op tests van Prime Intellect zelf en geldt mogelijk niet voor andere opstellingen.

## Bronnen en referenties

1. [ResearchOCT 23RD, 2026Prime Mega MoE: Fast Fused MoE Kernels for Training](https://www.primeintellect.ai/blog/prime-mega-moe) – Prime Intellect

Laatst bijgewerkt: 2026-10-26