Prime Intellect har lagt till en kärna för överlappande bakåtpass i DeepSeeks Mega MoE-system, vilket gör det möjligt att använda systemet för att träna mixture-of-experts-modeller. Företaget uppger att kärnorna var upp till 3.11× snabbare än en standardimplementation i PyTorch, medan träning från början till slut i Prime-RL gick upp till 1.34× snabbare än företagets baslinje.
Testerna av träning från början till slut genomfördes med H200-GPU:er och Qwen3-modeller i konfigurationer med fyra respektive 16 noder. Stödet beror på GPU-typ: kärnorna stöder bfloat16, medan vissa FP8-format endast fungerar på Hopper- eller Blackwell-GPU:er.
Varför det spelar roll
För team som tränar MoE-modeller på GPU:er med stöd för Hopper eller Blackwell kan kärnorna korta träningstiden. De redovisade hastighetsökningarna bygger dock på Prime Intellects egna tester och behöver inte gälla för andra konfigurationer.
