DeepSeek hat ein neues GitHub-Repository namens DeepEP-Ascend veröffentlicht. Es enthält eine Kommunikationsbibliothek für Training und Inferenz auf Huawei-Ascend-NPUs und unterstützt Expert-Parallel-All-to-All, Pipeline-Parallelismus und Remote Memory Access. Die Bibliothek entspricht der NVIDIA-DeepEP-API und lässt sich per pip-Befehl installieren. Erste Tests auf dem Ascend 950DT zeigen bei Expert-Parallel-Größen von bis zu 32 eine Dispatch-Bandbreite nahe der Hardwaregrenze.
Warum es wichtig ist
Damit können Entwickler Huawei-Ascend-Chips für Mixture-of-Experts-Modelle im großen Maßstab nutzen und erreichen bei der Kommunikation nahezu Hardwaregeschwindigkeit.
