Oossa

llama.cpp b12099 新增 Hexagon Lightning Indexer 支持

此次更新首次支持 Hexagon 硬件上的 Lightning Indexer 操作,并为预填充和解码加入 HMX 加速路径。

简讯作者: Oossa 发布日期: 1 分钟阅读

llama.cpp 项目的 b12099 版本首次支持 Hexagon 硬件上的 Lightning Indexer 操作。此次更新加入了用于预填充和解码的 HMX 加速路径,还支持 q8_0 解码数据收集和 q4_0 输入。发布页面列出了面向 Snapdragon 设备的 Linux 和 Android 版本,可使用 CPU、Adreno GPU 和 Hexagon NPU;页面还附有设置指南链接。

为什么重要

在 Snapdragon 设备上使用 llama.cpp 的开发者可以试用新增的 Hexagon 路径,不过发布说明没有提供性能数据或模型兼容性详情。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。