Teamet bakom ggml-org har publicerat llama.cpp version b11685. Uppdateringen innehåller en SYCL-optimering kallad wide stores för avkvantisering av vikterna q4_K och q5_K. I releasen ingår färdigbyggda binärer för macOS med Apple Silicon, macOS med Intel, iOS och flera Ubuntu-versioner (CPU, Vulkan och CUDA 12.8). Ändringen ska snabba upp inferens med kvantiserade modeller på SYCL-kompatibla GPU:er.
Varför det spelar roll
Utvecklare kan köra kvantiserade LLM:er snabbare på SYCL-GPU:er, vilket ger fler prisvärda hårdvarualternativ för AI-appar.
