Oossa

llama.cpp b11406 sürümü WebGPU’ya yeni kuantizasyon biçimleri ekliyor

Açık kaynaklı llama.cpp kütüphanesi artık WebGPU’da çeşitli yeni düşük hassasiyetli biçimleri destekliyor. macOS, Linux ve iOS için derlenmiş ikili dosyalar da sunuluyor.

Kısa haberYazan: Oossa yayın tarihi: 1 dk okuma

ggml‑org ekibi llama.cpp’nin b11406 sürümünü yayımladı. Sürüm, MMVQ kuantizasyon yolları Q1_0, Q5_0, Q5_1, Q3_K, Q5_K, Q6_K ve MXFP4 için WebGPU desteği ekliyor. Ayrıca macOS (Apple Silicon ve Intel), iOS ve çeşitli Ubuntu derlemeleri (CPU, Vulkan ve CUDA) için önceden derlenmiş ikili dosyalar sunuyor.

Neden önemli

Geliştiriciler artık WebGPU kullanan tarayıcılarda veya GPU’larda belleği daha verimli kullanan daha fazla LLM çalıştırabilir; böylece llama.cpp’nin kullanılabileceği alanlar genişler.

Bu makale faydalı oldu mu?
Paylaş

Sıradaki okuma

Oossa · Bülten

Yapay zekâda hafta, anlaşılır dille

Her pazartesi: bilmeye değer haberler, sade bir dille. Ücretsiz, spam yok.