DeepSeek AI, DeepGEMM-Ascend adlı yeni bir GitHub deposunu kullanıma açtı. Depo, DeepGEMM matris çarpımı kütüphanesini Huawei’nin Ascend NPU’larına taşıyor. Paket, orijinal DeepGEMM ile aynı API’yi kullanıyor; böylece NVIDIA GPU’larda çalışan kod, basit bir pip install komutuyla Ascend’e geçirilebiliyor. BF16, FP8 ve FP4 GEMM’i, MQA logits’i ve MegaMoE çekirdeklerini destekleyen paket, Ascend 950 cihazlarında donanım sınırlarının yüzde 99,8’ine kadar performans sunduğunu öne sürüyor.
Neden önemli
Geliştiricilerin mevcut DeepGEMM kodlarını Huawei’nin yapay zekâ çiplerinde yeniden kullanmasını sağlayarak büyük dil modellerinin eğitimi ve çıkarımı için donanım seçeneklerini artırıyor.
