Prime Intellect hat DeepSeeks Mega-MoE-System um einen Kernel für einen überlappenden Rückwärtsdurchlauf ergänzt. Damit lässt es sich nun zum Training von Mixture-of-Experts-Modellen nutzen. Laut dem Unternehmen waren die Kernels bis zu 3,11-mal schneller als eine Standardimplementierung in PyTorch. Das End-to-End-Training in Prime-RL lief bis zu 1,34-mal schneller als mit der Baseline.
Bei den End-to-End-Tests kamen H200-GPUs und Qwen3-Modelle in Konfigurationen mit vier und 16 Knoten zum Einsatz. Die Unterstützung hängt vom GPU-Typ ab: Die Kernels unterstützen bfloat16, während einige FP8-Formate auf Hopper- oder Blackwell-GPUs beschränkt sind.
Warum es wichtig ist
Für Teams, die MoE-Modelle auf unterstützten Hopper- oder Blackwell-GPUs trainieren, könnten die Kernels die Trainingszeit verkürzen. Die gemeldeten Geschwindigkeitssteigerungen stammen jedoch aus eigenen Tests von Prime Intellect und lassen sich möglicherweise nicht auf andere Konfigurationen übertragen.
