ggml‑org ekibi llama.cpp’nin b11489 sürümünü yayımladı. Sürüm notlarına göre güncelleme, Q6_K ağırlıklarının çözümlemesini — sıkıştırılmış model ağırlıklarını yeniden kullanılabilir sayılara dönüştüren adımı — hızlandırıyor ve döngü açma oranını ikiye katlıyor. Artık Apple Silicon, Intel macOS, iOS ve Vulkan ile CUDA sürümleri de dahil olmak üzere çeşitli Ubuntu yapılandırmaları için önceden derlenmiş ikili dosyalar mevcut.
Neden önemli
Daha hızlı çözümleme, geliştiricilerin aynı donanımda LLM’leri daha düşük gecikmeyle çalıştırabilmesi anlamına geliyor.
