开源库llama.cpp于2026年10月16日发布b11680版本。此次更新全面改造了Hexagon NPU代码:移除一项临时变通方案,为F16/F32/BF16权重新增张量重打包,并支持分块Q5_K行提取和原始K量化张量。此次更新还清理了许多内部内核,并提升了多个后端的性能,包括CPU、CUDA、Vulkan以及启用了Hexagon的设备。项目列出了适用于macOS、Linux、Android、Windows和多个openEuler配置的构建版本。
为什么重要
开发者现在可以在搭载Hexagon的手机和其他专用硬件上更高效地运行llama.cpp模型。