Oossa

llama.cpp cambia la división de flash attention en Hexagon

La versión b11868 unifica dos opciones de división de flash attention en Hexagon y añade la división por equipos cuando las cabezas KV no aprovechan todos los núcleos disponibles.

BrevePor Publicado por Oossa: 1 min de lectura

La versión b11868 de ggml-org/llama.cpp cambia el manejo de flash attention multinúcleo HMX en Hexagon. Sustituye los ajustes independientes `FA_HEAD_SPLIT` y `FA_SPLIT` por una sola opción: `GGML_HEXAGON_FA_SPLIT`.

Con la opción en 1, el trabajo puede dividirse entre las cabezas KV y, cuando hay menos cabezas KV que núcleos, entre equipos, para que también participen los núcleos que de otro modo quedarían inactivos. La versión pone como ejemplo Gemma 4, con dos cabezas KV en cuatro núcleos.

Por qué importa

Para quienes ejecutan llama.cpp en hardware Hexagon, el cambio busca que los núcleos participen cuando un modelo tiene menos cabezas KV que núcleos; las notas de la versión no cuantifican ninguna mejora de velocidad.

¿Te resultó útil este artículo?
Compartir

Sigue leyendo

Oossa · Boletín

La semana en IA, explicada

Cada lunes: las noticias que vale la pena conocer, en lenguaje sencillo. Gratis, sin spam.