# Prime Intellect добавила поддержку обучения в Mega MoE

> По данным Prime Intellect, её объединённые ядра работают до 3,11× быстрее базовой реализации PyTorch, а пропускная способность обучения в тестах выросла на 34%.

Oossa · 2026-10-26 · https://oossa.com/ru/prime-intellect-adds-training-support-to-mega-moe-kernels

Prime Intellect добавила в систему Mega MoE от DeepSeek ядро, которое позволяет перекрывать этапы обратного прохода. Благодаря этому систему можно использовать для обучения моделей со смесью экспертов. По заявлению компании, ядра работали до 3,11× быстрее стандартной реализации PyTorch, а сквозное обучение в Prime-RL проходило до 1,34× быстрее, чем в базовом варианте.

Сквозные тесты проводились на GPU H200 с моделями Qwen3 в конфигурациях с четырьмя и 16 узлами. Поддержка зависит от типа GPU: ядра работают с bfloat16, а некоторые форматы FP8 доступны только на GPU Hopper или Blackwell.

## Факты

- По данным Prime Intellect, ядра MoE работают до 3,11× быстрее стандартной реализации PyTorch.
- Компания сообщает, что сквозное обучение проходило до 1,34× быстрее, что соответствует росту пропускной способности на 34%.

## Почему это важно

Для команд, обучающих модели MoE на поддерживаемых GPU Hopper или Blackwell, эти ядра могут сократить время обучения. Однако заявленные показатели получены в собственных тестах Prime Intellect и могут не повториться в других конфигурациях.

## Источники и ссылки

1. [ResearchOCT 23RD, 2026Prime Mega MoE: Fast Fused MoE Kernels for Training](https://www.primeintellect.ai/blog/prime-mega-moe) – Prime Intellect

Обновлено: 2026-10-26