A Prime Intellect adicionou ao sistema Mega MoE, da DeepSeek, um kernel que sobrepõe etapas da passagem de retropropagação, permitindo usá-lo para treinar modelos de mistura de especialistas. A empresa afirma que os kernels foram até 3,11× mais rápidos que uma implementação padrão em PyTorch, enquanto o treinamento de ponta a ponta no Prime-RL foi até 1,34× mais rápido que a versão de referência.
Os testes de ponta a ponta usaram GPUs H200 e modelos Qwen3 em configurações de quatro e 16 nós. O suporte varia conforme o tipo de GPU: os kernels são compatíveis com bfloat16, enquanto alguns formatos FP8 estão limitados a GPUs Hopper ou Blackwell.
Por que importa
Para equipes que treinam modelos MoE em GPUs Hopper ou Blackwell compatíveis, os kernels podem reduzir o tempo de treinamento. No entanto, os ganhos de velocidade relatados vêm de testes da própria Prime Intellect e talvez não se apliquem a outras configurações.
