La versión b11971 de llama.cpp, de ggml-org, añade una operación matricial OpenCL q4_K en mosaicos para GPU Adreno. Además, cuando el tamaño del lote es superior a uno, la capa de salida del modelo de lenguaje q4_K ahora utiliza esa operación.
La versión incluye compilaciones descargables para macOS, iOS y varias plataformas Linux. Las notas de la versión no incluyen mediciones de rendimiento, por lo que no está claro cómo afecta el cambio para Adreno a la velocidad o al consumo de recursos.
Por qué importa
Quienes ejecuten llama.cpp en hardware Adreno pueden probar la nueva ruta OpenCL, pero las notas de la versión no indican si acelera la inferencia.
