Oossa

llama.cpp b11913 新增 Hexagon 内存大小设置

llama.cpp 此次更新允许覆盖 Hexagon 的 VTCM 大小,数值可使用 K、M 或 G 后缀。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml-org 团队发布的 llama.cpp b11913 新增了 VTCM 大小覆盖设置。VTCM 是 Hexagon 后端使用的一种内存资源。该设置名为 `GGML_HEXAGON_VTCM_SIZE`,数值可使用 K、M 或 G 后缀。

发行说明还显示,原计划加入的 `NTHREADS` 上限后来被取消。说明中没有给出 VTCM 的默认大小,也没有解释这一改动会如何影响性能。

为什么重要

使用 Hexagon 硬件运行 llama.cpp 的用户可以覆盖 VTCM 大小,但发行说明没有建议设置什么数值,也没有说明这样做是否能提升性能。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。