Das Release ggml-org/llama.cpp b11868 ändert, wie Hexagon die Multicore-HMX-Flash-Attention verarbeitet. Die bisherigen separaten Einstellungen `FA_HEAD_SPLIT` und `FA_SPLIT` werden durch ein einzelnes Flag ersetzt: `GGML_HEXAGON_FA_SPLIT`.
Ist das Flag auf 1 gesetzt, lässt sich die Arbeit auf KV-Heads und – wenn es weniger KV-Heads als Kerne gibt – auf Teams aufteilen. So können auch sonst ungenutzte Kerne mitarbeiten. Als Beispiel nennt das Release Gemma 4 mit zwei KV-Heads auf vier Kernen.
Warum es wichtig ist
Für alle, die llama.cpp auf Hexagon-Hardware ausführen, soll die Änderung dafür sorgen, dass auch dann Kerne mitarbeiten können, wenn ein Modell weniger KV-Heads als Kerne hat. Die Release Notes nennen keine konkreten Leistungssteigerungen.
