De release ggml-org/llama.cpp b11868 verandert de manier waarop Hexagon omgaat met multicore-HMX-flashattention. De afzonderlijke instellingen `FA_HEAD_SPLIT` en `FA_SPLIT` worden vervangen door één vlag: `GGML_HEXAGON_FA_SPLIT`.
Als de vlag op 1 staat, kan het werk worden verdeeld over KV-heads en, als er minder KV-heads zijn dan cores, over teams. Zo kunnen ook cores meedoen die anders ongebruikt blijven. De release noemt Gemma 4 met twee KV-heads op vier cores als voorbeeld.
Waarom het ertoe doet
Voor mensen die llama.cpp op Hexagon-hardware draaien, is de wijziging bedoeld om cores te laten meewerken wanneer een model minder KV-heads dan cores heeft. De release-opmerkingen geven geen cijfers over eventuele snelheidswinst.
