llama.cpp projesi, b11636 sürümünü 2026-10-15’te yayımladı. Bu sürüm, SYCL altında çalışırken IQ3_S ve IQ3_XXS kuantizasyonları için kalıcı bir ağırlık düzeni ekliyor. Ağırlıklar model yüklenirken bir kez yeniden sıralanıyor; böylece GPU bitleri tek tek toplamak yerine yoğun blokları işleyebiliyor. Bu da çözümleme ve ön doldurma işlemlerini hızlandırıyor. Intel Arc Pro B70 GPU’da Qwen3.8‑27B modeli, kısa istemlerde saniyede 12.92 tokendan 23.54 tokene çıkarak %82 artış gösterdi.
Neden önemli
llama.cpp’yi SYCL uyumlu GPU’larda çalıştıran geliştiriciler, model kodunu değiştirmeden belirgin ölçüde daha hızlı yanıtlar alabilir.
