ggml-org ekibi, llama.cpp’nin b11713 sürümünü 17 Ekim 2026’da yayımladı. Güncelleme, daha hızlı bir MMVQ algoritması kullanarak düşük bitli türlerde CUDA performansını artırıyor. Ayrıca Q3_K ve Q6_K kuantizasyonlarında HIP (AMD) GPU’lar için küçük bir düzeltme içeriyor. macOS, iOS ve çeşitli Ubuntu hedefleri (CPU, Vulkan, CUDA) için önceden derlenmiş ikili dosyalar artık indirilebilir.
Neden önemli
Geliştiriciler, kuantize edilmiş LLM’leri NVIDIA GPU’larda daha hızlı çalıştırarak yerel yapay zekâ uygulamalarının çıkarım maliyetlerini düşürebilir.
