Prime Intellect добавила в систему Mega MoE от DeepSeek ядро, которое позволяет перекрывать этапы обратного прохода. Благодаря этому систему можно использовать для обучения моделей со смесью экспертов. По заявлению компании, ядра работали до 3,11× быстрее стандартной реализации PyTorch, а сквозное обучение в Prime-RL проходило до 1,34× быстрее, чем в базовом варианте.
Сквозные тесты проводились на GPU H200 с моделями Qwen3 в конфигурациях с четырьмя и 16 узлами. Поддержка зависит от типа GPU: ядра работают с bfloat16, а некоторые форматы FP8 доступны только на GPU Hopper или Blackwell.
Почему это важно
Для команд, обучающих модели MoE на поддерживаемых GPU Hopper или Blackwell, эти ядра могут сократить время обучения. Однако заявленные показатели получены в собственных тестах Prime Intellect и могут не повториться в других конфигурациях.
