El equipo de ggml-org publicó llama.cpp b12094 el 4 de noviembre de 2026, con una ruta más rápida para el muestreo top-k en su backend Hexagon. El muestreo top-k elige entre las opciones con mayor puntuación al generar texto.
El cambio está pensado para valores de k de 2 a 64 y filas de más de 1,024 elementos. Omite ordenar bloques que no pueden contener un resultado destacado, pero la versión no ofrece mediciones de aceleración.
Por qué importa
Quienes ejecutan llama.cpp en hardware Hexagon compatible disponen de un método de muestreo más eficiente para estas cargas de trabajo, aunque la versión no cuantifica la mejora de rendimiento en condiciones reales.
