Oossa

llama.cpp调整Hexagon闪存注意力切分方式

b11868版将Hexagon闪存注意力的两个切分标志合并,并在KV头数未充分利用可用核心时加入团队切分。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml-org/llama.cpp b11868版调整了Hexagon处理多核HMX闪存注意力的方式。它将原先独立的`FA_HEAD_SPLIT`和`FA_SPLIT`设置合并为一个标志:`GGML_HEXAGON_FA_SPLIT`。

将该标志设为1后,任务可以按KV头切分;如果KV头数少于核心数,还可以按团队切分,让原本闲置的核心也参与工作。发行说明以在四个核心上运行、拥有两个KV头的Gemma 4为例。

为什么重要

对于在Hexagon硬件上运行llama.cpp的用户,这项调整旨在让KV头数少于核心数时也能利用更多核心;发行说明没有量化性能提升幅度。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。