В выпуске llama.cpp b11913 от команды ggml-org появилась настройка, позволяющая переопределить размер VTCM — ресурса памяти, который использует бэкенд Hexagon. Параметр называется `GGML_HEXAGON_VTCM_SIZE`; значения можно указывать с суффиксами K, M или G.
В примечаниях к выпуску также говорится, что предложенное ограничение `NTHREADS` в итоге убрали. В них не указаны размер VTCM по умолчанию и влияние изменения на производительность.
Почему это важно
Пользователи llama.cpp на оборудовании Hexagon могут переопределить размер VTCM, однако в примечаниях к выпуску не сказано, какое значение выбрать и повысит ли это производительность.
