Oossa

llama.cpp新增Hexagon张量重打包和量化支持

2026年10月16日发布的b11680版本重构了Hexagon支持,新增分块Q5_K行提取和原始K量化张量支持,并扩展了硬件后端。

简讯作者: Oossa 发布日期: 1 分钟阅读

开源库llama.cpp于2026年10月16日发布b11680版本。此次更新全面改造了Hexagon NPU代码:移除一项临时变通方案,为F16/F32/BF16权重新增张量重打包,并支持分块Q5_K行提取和原始K量化张量。此次更新还清理了许多内部内核,并提升了多个后端的性能,包括CPU、CUDA、Vulkan以及启用了Hexagon的设备。项目列出了适用于macOS、Linux、Android、Windows和多个openEuler配置的构建版本。

为什么重要

开发者现在可以在搭载Hexagon的手机和其他专用硬件上更高效地运行llama.cpp模型。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。