# Prime Intellect ergänzt Trainingssupport für Mega-MoE-Kernels

> Laut Prime Intellect laufen die fusionierten Kernels bis zu 3,11-mal schneller als eine PyTorch-Baseline und steigern den Trainingsdurchsatz in eigenen Tests um 34 Prozent.

Oossa · 2026-10-26 · https://oossa.com/de/prime-intellect-adds-training-support-to-mega-moe-kernels

Prime Intellect hat DeepSeeks Mega-MoE-System um einen Kernel für einen überlappenden Rückwärtsdurchlauf ergänzt. Damit lässt es sich nun zum Training von Mixture-of-Experts-Modellen nutzen. Laut dem Unternehmen waren die Kernels bis zu 3,11-mal schneller als eine Standardimplementierung in PyTorch. Das End-to-End-Training in Prime-RL lief bis zu 1,34-mal schneller als mit der Baseline.

Bei den End-to-End-Tests kamen H200-GPUs und Qwen3-Modelle in Konfigurationen mit vier und 16 Knoten zum Einsatz. Die Unterstützung hängt vom GPU-Typ ab: Die Kernels unterstützen bfloat16, während einige FP8-Formate auf Hopper- oder Blackwell-GPUs beschränkt sind.

## Die Fakten

- Prime Intellect zufolge sind die MoE-Kernels bis zu 3,11-mal schneller als die Standardimplementierung des Unternehmens in PyTorch.
- Das Unternehmen gibt an, dass das End-to-End-Training bis zu 1,34-mal schneller läuft, was einem um 34 Prozent höheren Durchsatz entspricht.

## Warum es wichtig ist

Für Teams, die MoE-Modelle auf unterstützten Hopper- oder Blackwell-GPUs trainieren, könnten die Kernels die Trainingszeit verkürzen. Die gemeldeten Geschwindigkeitssteigerungen stammen jedoch aus eigenen Tests von Prime Intellect und lassen sich möglicherweise nicht auf andere Konfigurationen übertragen.

## Quellen und Referenzen

1. [ResearchOCT 23RD, 2026Prime Mega MoE: Fast Fused MoE Kernels for Training](https://www.primeintellect.ai/blog/prime-mega-moe) – Prime Intellect

Zuletzt aktualisiert: 2026-10-26