llama.cpp 项目的 b12099 版本首次支持 Hexagon 硬件上的 Lightning Indexer 操作。此次更新加入了用于预填充和解码的 HMX 加速路径,还支持 q8_0 解码数据收集和 q4_0 输入。发布页面列出了面向 Snapdragon 设备的 Linux 和 Android 版本,可使用 CPU、Adreno GPU 和 Hexagon NPU;页面还附有设置指南链接。
为什么重要
在 Snapdragon 设备上使用 llama.cpp 的开发者可以试用新增的 Hexagon 路径,不过发布说明没有提供性能数据或模型兼容性详情。