El equipo de ggml-org publicó llama.cpp b12031, con compatibilidad inicial con OpenCL para IQ3, dos formatos compactos de pesos de modelos. La actualización añade operaciones para IQ3_S e IQ3_XXS, incluidas operaciones de matrices y vectores, además de rutas específicas para las GPU Adreno de Qualcomm.
Las notas de la versión también describen optimizaciones de decodificación y compatibilidad con lotes más pequeños en Adreno. No incluyen comparaciones de velocidad, por lo que no especifican el cambio práctico en el rendimiento.
Por qué importa
Quienes desarrollan con llama.cpp en GPU Adreno pueden probar estas rutas de OpenCL con modelos IQ3, pero las notas de la versión no indican si funcionan más rápido ni qué dispositivos obtienen mayores beneficios.
