El equipo de ggml-org publicó llama.cpp b12549, una actualización que corrige la gestión de las máscaras de atención de Inkling2, un modelo compatible con el proyecto. La actualización añade una entrada específica para Inkling2 que genera su máscara de atención densa y el sesgo de posición relativa a partir de las mismas celdas. También corrige la construcción de máscaras en modelos con memoria híbrida, que impedía reutilizar el grafo con una caché unificada y atención flash; el problema afectaba a LFM2, LFM3 e Inkling2. Además, la versión permite que la escala de los pesos de expertos y el límite superior de los logits finales de Inkling2 sean cero.
Por qué importa
Para quienes ejecutan estos modelos con memoria híbrida en llama.cpp, las correcciones resuelven un problema que impedía reutilizar el grafo con una caché unificada y atención flash. Las notas de la versión no cuantifican ninguna mejora de velocidad.