# Prime Intellect adiciona suporte a treinamento aos kernels Mega MoE

> A Prime Intellect afirma que seus kernels fundidos são até 3,11× mais rápidos que uma implementação de referência em PyTorch e aumentam em 34% a taxa de processamento do treinamento em seus testes.

Oossa · 2026-10-26 · https://oossa.com/pt/prime-intellect-adds-training-support-to-mega-moe-kernels

A Prime Intellect adicionou ao sistema Mega MoE, da DeepSeek, um kernel que sobrepõe etapas da passagem de retropropagação, permitindo usá-lo para treinar modelos de mistura de especialistas. A empresa afirma que os kernels foram até 3,11× mais rápidos que uma implementação padrão em PyTorch, enquanto o treinamento de ponta a ponta no Prime-RL foi até 1,34× mais rápido que a versão de referência.

Os testes de ponta a ponta usaram GPUs H200 e modelos Qwen3 em configurações de quatro e 16 nós. O suporte varia conforme o tipo de GPU: os kernels são compatíveis com bfloat16, enquanto alguns formatos FP8 estão limitados a GPUs Hopper ou Blackwell.

## Os fatos

- A Prime Intellect relata que seus kernels MoE são até 3,11× mais rápidos que sua implementação padrão em PyTorch.
- A empresa relata que o treinamento de ponta a ponta é até 1,34× mais rápido, o equivalente a uma taxa de processamento 34% maior.

## Por que importa

Para equipes que treinam modelos MoE em GPUs Hopper ou Blackwell compatíveis, os kernels podem reduzir o tempo de treinamento. No entanto, os ganhos de velocidade relatados vêm de testes da própria Prime Intellect e talvez não se apliquem a outras configurações.

## Fontes e referências

1. [ResearchOCT 23RD, 2026Prime Mega MoE: Fast Fused MoE Kernels for Training](https://www.primeintellect.ai/blog/prime-mega-moe) – Prime Intellect

Última atualização: 2026-10-26