El equipo de ggml‑org publicó la versión b11789 de llama.cpp. La actualización incorpora variantes dp4a de GEMM (multiplicación de matrices) para OpenCL, con cargas vectoriales de activaciones, y cambia el nombre de los kernels y las variables de entorno relacionadas. Ya hay binarios precompilados para Apple Silicon, macOS con Intel, iOS y varias versiones de Ubuntu (CPU, Vulkan y CUDA). Los cambios buscan mejorar el rendimiento en GPU compatibles con la instrucción dp4a.
Por qué importa
Los desarrolladores pueden ejecutar llama.cpp más rápido en GPU compatibles y reducir el tiempo de inferencia en aplicaciones locales de modelos de lenguaje grandes (LLM).
