De release llama.cpp b11913 van het ggml-org-team voegt een instelbare overschrijving toe voor VTCM, een geheugenbron die de Hexagon-backend gebruikt. De instelling heet `GGML_HEXAGON_VTCM_SIZE` en accepteert achtervoegsels K, M of G.
Uit de release notes blijkt ook dat een voorgestelde limiet voor `NTHREADS` later is geschrapt. Ze vermelden geen standaardgrootte voor VTCM en leggen niet uit welk effect de wijziging op de prestaties heeft.
Waarom het ertoe doet
Wie llama.cpp met Hexagon-hardware gebruikt, kan de VTCM-grootte overschrijven. De release notes geven echter niet aan welke waarde geschikt is of dat dit de prestaties verbetert.
