La versione b11913 di llama.cpp del team ggml-org aggiunge la possibilità di impostare una dimensione personalizzata per la VTCM, una risorsa di memoria usata dal backend Hexagon. L’impostazione si chiama `GGML_HEXAGON_VTCM_SIZE` e accetta i suffissi K, M o G.
Le note di rilascio indicano inoltre che il limite `NTHREADS` proposto inizialmente è stato poi eliminato. Non specificano una dimensione predefinita della VTCM né spiegano in che modo la modifica influisca sulle prestazioni.
Perché conta
Chi usa llama.cpp con hardware Hexagon può impostare una dimensione personalizzata per la VTCM, ma le note di rilascio non indicano quale valore scegliere né se la modifica migliori le prestazioni.
