Oossa

llama.cpp新增Flash Attention运算

开源库llama.cpp现已通过ggml-zdnn支持Flash Attention运算,该消息于20 Oct 2026公布。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml-org团队于20 Oct 2026发布llama.cpp b11759版本。此次更新为ggml-zdnn后端新增Flash Attention运算(fattn),并以暂存缓冲池取代暂存槽位。该改动由贡献者Aaron Teo签署。Flash Attention可加速大型语言模型使用的注意力计算。

为什么重要

Flash Attention可缩短用户在本地运行llama.cpp时的推理时间,让聊天类模型响应更快。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。