DeepSeek a publié un nouveau dépôt GitHub baptisé DeepEP-Ascend. Il fournit une bibliothèque de communication pour l’entraînement et l’inférence sur les NPU Huawei Ascend, avec prise en charge du tout-à-tout en parallélisme par experts, du parallélisme en pipeline et de l’accès à la mémoire distante. La bibliothèque reprend l’API de NVIDIA DeepEP et peut être installée à l’aide d’une commande pip. Les premiers tests sur Ascend 950DT montrent une bande passante de dispatch proche de la limite matérielle, pour des tailles de parallélisme par experts allant jusqu’à 32.
Pourquoi c'est important
Cette bibliothèque permet aux développeurs d’utiliser les puces Ascend de Huawei pour entraîner à grande échelle des modèles à mélange d’experts, avec des communications proches des vitesses maximales du matériel.
