DeepSeek опубликовала новый репозиторий на GitHub под названием DeepEP-Ascend. В нём представлена библиотека для обмена данными при обучении и инференсе на NPU Huawei Ascend. Она поддерживает обмен данными по схеме all-to-all при параллелизме экспертов, конвейерный параллелизм и удалённый доступ к памяти. API библиотеки совместим с NVIDIA DeepEP, а установить её можно командой pip. Первые тесты на Ascend 950DT показали, что пропускная способность передачи данных близка к аппаратному пределу при параллелизме экспертов до 32.
Почему это важно
Библиотека позволяет разработчикам использовать чипы Ascend от Huawei для обучения крупных моделей со смесью экспертов, обеспечивая скорость обмена данными, близкую к аппаратному пределу.
