Prime Intellect heeft een kernel voor overlappende achterwaartse passes toegevoegd aan DeepSeeks Mega MoE-systeem, waardoor het geschikt is voor het trainen van mixture-of-experts-modellen. Het bedrijf zegt dat de kernels tot 3,11× sneller waren dan een standaardimplementatie in PyTorch. De training van begin tot eind in Prime-RL was tot 1,34× sneller dan met de baseline.
De tests voor de training van begin tot eind werden uitgevoerd met H200-GPU's en Qwen3-modellen in opstellingen met vier en 16 nodes. De ondersteuning hangt af van het GPU-type: de kernels ondersteunen bfloat16, terwijl sommige FP8-indelingen alleen werken op Hopper- of Blackwell-GPU's.
Waarom het ertoe doet
Voor teams die MoE-modellen trainen op ondersteunde Hopper- of Blackwell-GPU's kunnen de kernels de trainingstijd verkorten. De gemelde snelheidswinst is echter gebaseerd op tests van Prime Intellect zelf en geldt mogelijk niet voor andere opstellingen.
