La versione b11868 di ggml-org/llama.cpp modifica la gestione della flash attention HMX multicore su Hexagon. Sostituisce le impostazioni separate `FA_HEAD_SPLIT` e `FA_SPLIT` con un’unica opzione, `GGML_HEXAGON_FA_SPLIT`.
Con l’opzione impostata su 1, il lavoro può essere suddiviso tra le teste KV e, se le teste KV sono meno dei core, anche tra team, così da coinvolgere core che altrimenti resterebbero inattivi. La versione cita come esempio Gemma 4 con due teste KV su quattro core.
Perché conta
Per chi esegue llama.cpp su hardware Hexagon, la modifica punta a coinvolgere i core quando un modello ha meno teste KV dei core disponibili; le note di rilascio non quantificano eventuali incrementi di velocità.
