llama.cpp b12094 加快 Hexagon 上的 top-k 采样

llama.cpp 新版本调整了 Hexagon 硬件上的 top-k 采样方式，通过扫描跳过不可能入选的区块。发布说明未提供提速数据。

简讯作者： OossaOossa 发布日期: 2026年11月4日 03:12 UTC1 分钟阅读

ggml-org 团队于 2026 年 11 月 4 日发布 llama.cpp b12094，为 Hexagon 后端加入了更快的 top-k 采样路径。生成文本时，top-k 采样会从得分最高的选项中进行选择。

这项改动适用于 k 值为 2 到 64、且行宽超过 1,024 个条目的情况。它会跳过不可能包含最终结果的区块，从而避免对这些区块排序，但发布说明没有给出实测提速数据。

为什么重要

在受支持的 Hexagon 硬件上运行 llama.cpp 的用户，可在这些场景中使用更高效的采样方法；不过，发布说明没有量化实际使用中的提速幅度。

1 个来源

这篇文章有帮助吗？

Oossa · 新闻简报

一周 AI，讲明白

每周一，用通俗的语言讲清值得知道的新闻。免费，无垃圾邮件。