ggml-org 团队发布的 llama.cpp b11913 新增了 VTCM 大小覆盖设置。VTCM 是 Hexagon 后端使用的一种内存资源。该设置名为 `GGML_HEXAGON_VTCM_SIZE`,数值可使用 K、M 或 G 后缀。
发行说明还显示,原计划加入的 `NTHREADS` 上限后来被取消。说明中没有给出 VTCM 的默认大小,也没有解释这一改动会如何影响性能。
为什么重要
使用 Hexagon 硬件运行 llama.cpp 的用户可以覆盖 VTCM 大小,但发行说明没有建议设置什么数值,也没有说明这样做是否能提升性能。