Oossa

llama.cpp 0.1.14 为 Hexagon 增添分块 Q4_K 和 Q6_K 支持

开源库 Llama.cpp 现已支持在 Hexagon CPU 上使用分块 Q4_K 和 Q6_K 格式,并新增适用于 macOS、iOS 和 Linux 的二进制文件。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml-org 团队发布了 llama.cpp b11487 版本。该版本为 Hexagon 处理器增添了分块 Q4_K 和 Q6_K 的 GET_ROWS 支持,并改进了对 Q4_K 视图的处理。团队还提供了预编译二进制文件,适用于 Apple Silicon、Intel Mac、iOS,以及多个 Ubuntu 版本(CPU 和 Vulkan)。用户可从 GitHub 发布页面下载更新。

为什么重要

开发者现在可以在 Qualcomm 芯片等基于 Hexagon 的设备上运行效率更高的 Llama 模型,从而提升受支持的移动和嵌入式硬件上的性能。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。