Il progetto llama.cpp ha rilasciato la versione b11430 il 2026‑10‑05. Introduce il flag GGML_HEXAGON_FA_HEAD_SPLIT, che consente a ogni core di gestire solo una parte delle teste di attenzione quando il numero di teste KV è divisibile per il numero di core. In questo modo, ogni core deve leggere una quantità minore di cache KV e sfrutta meglio la larghezza di banda della memoria. Nei test condotti su quattro core, Qwen3‑0.6B ha registrato un aumento di velocità del 58% e llama‑3.2‑3B del 49%. La modifica è facoltativa e si attiva con la nuova opzione –fa-head-split in run.py.
Perché conta
Gli sviluppatori che usano llama.cpp su hardware Qualcomm Hexagon possono ottenere inferenze sensibilmente più veloci sui modelli supportati, senza modificare il codice.
