Oossa

llama.cpp b11723 增强 FLASH_ATTN_EXT,支持更长上下文

开源库 llama.cpp 发布 b11723,加入针对 Hexagon 的 FLASH_ATTN_EXT 优化,可提升 CPU 和 Vulkan 上长上下文推理的速度。

简讯作者: Oossa 发布日期: 1 分钟阅读

ggml-org 团队于 2026 年 10 月 19 日发布 llama.cpp b11723。此次更新改进了 FLASH_ATTN_EXT,以支持更长的上下文窗口和 SWA 模型,并加入跳过掩码块的功能,减少内存读取。现在,macOS(Apple Silicon 和 Intel)、iOS 以及多个 Ubuntu 版本均可下载二进制构建,其中包括支持 Vulkan GPU 的版本。这些改动旨在提升 gemma-4 等模型的性能。

为什么重要

开发者可以在桌面 CPU 和兼容 GPU 上更高效地运行支持更长上下文的 LLM。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。