El proyecto llama.cpp publicó la versión b11404 el 5 de octubre de 2026. Incorpora kernels Metal que multiplican varias filas a la vez (de 2 a 16) en las GPU de Apple. Estos kernels des cuantizan cada peso una sola vez y comparten el trabajo entre grupos SIMD, por lo que la decodificación especulativa en un M3 Ultra es más rápida que con el método anterior de multiplicación matriz-vector. Los nuevos kernels solo se usan en dispositivos compatibles con la familia de GPU Apple7 y cuando el número de filas alcanza un umbral (por ejemplo, 6 filas para F32). El cambio también perfecciona la lógica de fusión y elimina una fusión de copias por lotes que causaba problemas.
Por qué importa
Quienes usan llama.cpp en dispositivos Apple Silicon tendrán menos latencia al generar texto mediante decodificación especulativa, especialmente en dispositivos M3 Ultra.
