Het ggml-org-team heeft llama.cpp versie b11685 uitgebracht. Die bevat een SYCL-optimalisatie, wide stores genoemd, voor de dequantisatie van q4_K- en q5_K-gewichten. De release bevat vooraf gebouwde binaries voor macOS Apple Silicon, macOS Intel, iOS en verschillende Ubuntu-builds (CPU, Vulkan en CUDA 12.8). De wijziging is bedoeld om de inferentie van gequantiseerde modellen op SYCL-compatibele GPU's te versnellen.
Waarom het ertoe doet
Ontwikkelaars kunnen gequantiseerde LLM's sneller draaien op SYCL-GPU's, waardoor er meer betaalbare hardwareopties komen voor AI-apps.
