llama.cpp projesinin yayımladığı yeni sürüm, Qualcomm’un Hexagon NPU’su için Q1_0 ve Q2_0 kuantizasyon desteği ekliyor. Güncelleme ayrıca ek yükü azaltmak için döşeme ve vektör nokta çarpımı işlemlerinde düzenlemeler yapıyor. Linux ve Windows’un Snapdragon CPU’ları, Adreno GPU’ları ve Hexagon NPU’larını hedefleyen derlemelerinin yanı sıra diğer platformlarda da çalışıyor. Değişiklikler geliştirici kılavuzunda belgeleniyor ve sürüm doğrulama belgeleriyle imzalanıyor.
Neden önemli
Geliştiriciler artık Snapdragon tabanlı telefon ve tabletlerde daha büyük dil modellerini daha düşük gecikme ve enerji tüketimiyle çalıştırabiliyor.
