ggml-org 团队发布了 llama.cpp b11345,新增对 Hexagon 上 q2_k 和 q3_k 量化类型的支持。量化是一种用更少位数存储模型数据的方法;但发行说明没有说明哪些设备或模型会因此受益,也未提及性能变化。
此次发布还提供 macOS、iOS 和多种 Linux 配置的下载版本,包括 CPU 和 Vulkan 构建版本。
为什么重要
在受支持的 Hexagon 硬件上运行 llama.cpp 的用户,或许可以使用采用 q2_k 或 q3_k 量化的模型;不过,发行说明没有具体说明设备兼容性或性能影响。