DeepSeek har publicerat ett nytt GitHub-arkiv med namnet DeepEP-Ascend. Det innehåller ett kommunikationsbibliotek för träning och inferens på Huawei Ascend-NPU:er och stöder all-to-all-kommunikation med expertparallellisering, pipeline-parallellisering och fjärråtkomst till minne. Biblioteket har samma API som NVIDIA DeepEP och kan installeras med ett pip-kommando. Tidiga tester på Ascend 950DT visar en överföringsbandbredd för dispatch nära hårdvarans gräns vid expertparallella storlekar upp till 32.
Varför det spelar roll
Det gör det möjligt för utvecklare att använda Huaweis Ascend-chip för storskaliga mixture-of-experts-modeller, med kommunikation i hastigheter nära hårdvarans maxkapacitet.
