Oossa

llama.cpp b12549 corrige la gestión de atención de Inkling2

La actualización añade a Inkling2 una entrada específica para la atención con posiciones relativas y corrige la reutilización de máscaras en modelos con memoria híbrida, como LFM2 y LFM3.

BrevePor Publicado por Oossa: 1 min de lectura

El equipo de ggml-org publicó llama.cpp b12549, una actualización que corrige la gestión de las máscaras de atención de Inkling2, un modelo compatible con el proyecto. La actualización añade una entrada específica para Inkling2 que genera su máscara de atención densa y el sesgo de posición relativa a partir de las mismas celdas. También corrige la construcción de máscaras en modelos con memoria híbrida, que impedía reutilizar el grafo con una caché unificada y atención flash; el problema afectaba a LFM2, LFM3 e Inkling2. Además, la versión permite que la escala de los pesos de expertos y el límite superior de los logits finales de Inkling2 sean cero.

Por qué importa

Para quienes ejecutan estos modelos con memoria híbrida en llama.cpp, las correcciones resuelven un problema que impedía reutilizar el grafo con una caché unificada y atención flash. Las notas de la versión no cuantifican ninguna mejora de velocidad.

¿Te resultó útil este artículo?
Compartir

Sigue leyendo

Oossa · Boletín

La semana en IA, explicada

Cada lunes: las noticias que vale la pena conocer, en lenguaje sencillo. Gratis, sin spam.