ggml‑org ekibi llama.cpp’nin b11685 sürümünü yayımladı. Sürüm, q4_K ve q5_K ağırlıklarının kuantizasyondan çıkarılması için wide stores adı verilen bir SYCL optimizasyonu ekliyor. macOS Apple Silicon, macOS Intel ve iOS için önceden derlenmiş ikili dosyaların yanı sıra çeşitli Ubuntu derlemeleri de (CPU, Vulkan ve CUDA 12.8) sürümle birlikte sunuluyor. Değişiklik, SYCL uyumlu GPU’larda kuantize modellerin çıkarımını hızlandırmayı amaçlıyor.
Neden önemli
Geliştiriciler, SYCL GPU’larda kuantize LLM’leri daha hızlı çalıştırarak yapay zekâ uygulamaları için uygun maliyetli donanım seçeneklerini artırabilir.
