DeepSeek ha pubblicato su GitHub un nuovo repository chiamato DeepEP-Ascend. Offre una libreria di comunicazione per l’addestramento e l’inferenza sulle NPU Huawei Ascend e supporta la comunicazione all-to-all con parallelismo degli esperti, il parallelismo a pipeline e l’accesso remoto alla memoria. La libreria è compatibile con l’API di NVIDIA DeepEP e si installa con un comando pip. I primi test su Ascend 950DT mostrano una banda di dispatch vicina al limite dell’hardware con dimensioni di parallelismo degli esperti fino a 32.
Perché conta
Consente agli sviluppatori di usare i chip Ascend di Huawei per modelli mixture-of-experts su larga scala, con velocità di comunicazione vicine ai limiti dell’hardware.
