DeepSeek heeft een nieuwe GitHub-repo gepubliceerd: DeepEP-Ascend. Deze biedt een communicatiebibliotheek voor training en inferentie op Huawei Ascend-NPU’s, met ondersteuning voor all-to-all-communicatie bij expertparallelisme, pipelineparallelisme en toegang tot extern geheugen. De bibliotheek komt overeen met de NVIDIA DeepEP-API en is te installeren met een pip-opdracht. Uit eerste tests op de Ascend 950DT blijkt dat de dispatchbandbreedte dicht bij de hardwarelimiet ligt bij expertparallelle groottes tot 32.
Waarom het ertoe doet
Hierdoor kunnen ontwikkelaars Huawei’s Ascend-chips gebruiken voor grootschalige mixture-of-experts-modellen, met communicatiesnelheden die bijna de hardwarelimiet halen.
