Oossa

llama.cpp b11809, WebGPU için Q2_0 desteği ekliyor

llama.cpp’nin yeni sürümü, WebGPU arka ucuna Q2_0 satırlarının dekuantizasyonu ve matris çarpımı desteği getiriyor. Sürüm notlarında performans ölçümü yer almıyor.

Kısa haberYazan: Oossa yayın tarihi: 1 dk okuma

ggml-org ekibi, WebGPU arka ucuna Q2_0 desteği ekleyen llama.cpp b11809’u yayımladı. Sürüm notlarına göre değişiklik, hem satır dekuantizasyonunu hem de matris çarpımını kapsıyor. Hız, donanım uyumluluğu veya bellek kullanımıyla ilgili sonuçlar paylaşılmadığı için performansa pratik etkisi belirsiz.

Neden önemli

llama.cpp’yi WebGPU ile kullanan geliştiriciler Q2_0 modellerini deneyebilir; ancak sürüm notları bu modellerin belirli cihazlarda ne kadar iyi çalışacağını belirtmiyor.

Bu makale faydalı oldu mu?
Paylaş

Sıradaki okuma

Oossa · Bülten

Yapay zekâda hafta, anlaşılır dille

Her pazartesi: bilmeye değer haberler, sade bir dille. Ücretsiz, spam yok.