Oossa

llama.cpp b11345 新增两种 Hexagon 量化类型支持

llama.cpp b11345 新增对 Hexagon 上 q2_k 和 q3_k 量化类型的支持,并提供多个平台的构建版本下载。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml-org 团队发布了 llama.cpp b11345,新增对 Hexagon 上 q2_k 和 q3_k 量化类型的支持。量化是一种用更少位数存储模型数据的方法;但发行说明没有说明哪些设备或模型会因此受益,也未提及性能变化。

此次发布还提供 macOS、iOS 和多种 Linux 配置的下载版本,包括 CPU 和 Vulkan 构建版本。

为什么重要

在受支持的 Hexagon 硬件上运行 llama.cpp 的用户,或许可以使用采用 q2_k 或 q3_k 量化的模型;不过,发行说明没有具体说明设备兼容性或性能影响。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。