ggml-org 团队发布了 llama.cpp b11849,新增对 Qualcomm 处理器架构 Hexagon 上 SGN 操作的支持。发行说明称,此次更新包含半精度支持,以及一项利用符号位的优化。
该版本还提供 macOS、iOS 和 Ubuntu 构建版本,包括适用于 x64、arm64 和 s390x 的 CPU 构建版本。发行说明未指出哪些设备或工作负载会因此获得实际的速度或性能提升。
为什么重要
使用 Hexagon 硬件运行 llama.cpp 的开发者现在可以使用新的 SGN 操作,但发行说明没有量化它对模型性能的影响。