llama.cpp 项目发布了新版本，为 Qualcomm 的 Hexagon NPU 增加了 Q1_0 和 Q2_0 量化支持。此次更新还调整了分块处理和向量点积运算，以减少开销。该版本适用于面向 Snapdragon CPU、Adreno GPU 和 Hexagon NPU 的 Linux 与 Windows 构建，也支持其他平台。相关改动已记录在开发者指南中，并在发布证明文件中签名。
为什么重要
开发者现在可以在搭载 Snapdragon 的手机和平板电脑上，以更低的延迟和功耗运行更大的语言模型。
