El equipo de ggml-org publicó la versión b11685 de llama.cpp. Incorpora una optimización SYCL llamada «wide stores» para la descuantización de los pesos q4_K y q5_K. La versión incluye binarios precompilados para macOS con Apple Silicon, macOS con Intel, iOS y varias compilaciones de Ubuntu (CPU, Vulkan y CUDA 12.8). El cambio busca acelerar la inferencia de modelos cuantizados en GPU compatibles con SYCL.
Por qué importa
Los desarrolladores podrán ejecutar LLM cuantizados más rápido en GPU con SYCL, lo que amplía las opciones de hardware económico para aplicaciones de IA.
