A DeepSeek publicou um novo repositório no GitHub, chamado DeepEP-Ascend. Ele oferece uma biblioteca de comunicação para treinamento e inferência em NPUs Ascend da Huawei, com suporte a comunicação all-to-all paralela entre especialistas, paralelismo de pipeline e acesso remoto à memória. A biblioteca é compatível com a API da NVIDIA DeepEP e pode ser instalada com um comando pip. Testes iniciais no Ascend 950DT mostram largura de banda de dispatch próxima do limite do hardware para tamanhos de paralelismo entre especialistas de até 32.
Por que importa
A biblioteca permite que desenvolvedores usem os chips Ascend da Huawei para executar modelos de mistura de especialistas em grande escala, com velocidades de comunicação próximas às máximas do hardware.
