ggml‑org ekibi, llama.cpp’nin b11789 sürümünü yayımladı. Güncelleme, vektörlü aktivasyon yüklemeleriyle OpenCL için dp4a GEMM (matris çarpımı) varyantları ekliyor; ilgili kernel’lerin ve ortam değişkenlerinin adlarını da değiştiriyor. Apple Silicon, Intel macOS ve iOS’un yanı sıra çeşitli Ubuntu derlemeleri (CPU, Vulkan, CUDA) için önceden derlenmiş ikili dosyalar artık kullanılabiliyor. Değişiklikler, dp4a komutunu destekleyen GPU’larda performansı artırmayı amaçlıyor.
Neden önemli
Geliştiriciler llama.cpp’yi uyumlu GPU’larda daha hızlı çalıştırarak yerel LLM uygulamalarında çıkarım süresini kısaltabilir.
