Prime Intellect ha aggiunto a Mega MoE di DeepSeek un kernel per sovrapporre la fase di backward, rendendo il sistema utilizzabile per addestrare modelli mixture-of-experts. L’azienda afferma che i kernel sono risultati fino a 3,11× più veloci rispetto a un’implementazione PyTorch predefinita, mentre il training end-to-end in Prime-RL è stato fino a 1,34× più veloce rispetto alla versione di riferimento.
I test end-to-end sono stati eseguiti su GPU H200 e modelli Qwen3 in configurazioni da quattro e 16 nodi. Il supporto varia in base al tipo di GPU: i kernel funzionano con bfloat16, mentre alcuni formati FP8 sono limitati alle GPU Hopper o Blackwell.
Perché conta
Per i team che addestrano modelli MoE su GPU Hopper o Blackwell supportate, questi kernel potrebbero ridurre i tempi di training. I risultati riportati, però, provengono dai test di Prime Intellect e potrebbero non essere replicabili in altre configurazioni.
