DeepSeek, DeepEP-Ascend adlı yeni bir GitHub deposu yayımladı. Depo, Huawei Ascend NPU’larda eğitim ve çıkarım için uzmanlar arası paralel tümden tüme iletişim, işlem hattı paralelliği ve uzak bellek erişimini destekleyen bir iletişim kütüphanesi sunuyor. Kütüphane, NVIDIA DeepEP API’siyle uyumlu ve pip komutuyla kurulabiliyor. Ascend 950DT üzerinde yapılan ilk testlerde, uzmanlar arası paralellik boyutu 32’ye kadar çıkarken dağıtım bant genişliğinin donanım sınırına yaklaştığı görüldü.
Neden önemli
Geliştiricilerin, büyük ölçekli uzman karışımı modelleri için Huawei Ascend çiplerinden donanımın iletişim hızına yakın performansla yararlanmasını sağlıyor.
