Oossa

llama.cpp b11849 新增对 Hexagon SGN 操作的支持

此版本为 Qualcomm Hexagon 添加了符号运算(SGN),包括半精度版本,并提供多个平台的下载构建版本。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml-org 团队发布了 llama.cpp b11849,新增对 Qualcomm 处理器架构 Hexagon 上 SGN 操作的支持。发行说明称,此次更新包含半精度支持,以及一项利用符号位的优化。

该版本还提供 macOS、iOS 和 Ubuntu 构建版本,包括适用于 x64、arm64 和 s390x 的 CPU 构建版本。发行说明未指出哪些设备或工作负载会因此获得实际的速度或性能提升。

为什么重要

使用 Hexagon 硬件运行 llama.cpp 的开发者现在可以使用新的 SGN 操作,但发行说明没有量化它对模型性能的影响。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。