# llama.cpp 为量化缓存加入更快的 SYCL 注意力内核

> b11980 版本新增面向 Intel GPU 的内核，支持使用 q4_0 和 q8_0 KV 缓存进行小批量解码；提示词处理仍使用现有内核。

Oossa · 2026-10-29 · https://oossa.com/zh/llama-cpp-adds-faster-sycl-attention-for-quantized-caches

llama.cpp b11980 版本新增了一个 SYCL flash-attention 解码内核，支持使用 q4_0 和 q8_0 量化键值缓存。该内核可处理包含 1 到 31 个查询 token 的批次，无需逐个进行标量反量化，也不必在每次调用时将整个缓存转换为 f16。

发行说明称，在 Intel Arc B580 上，使用 q4_0 缓存的 Llama 3.1 8B Q4_K_M 在 16K 上下文下达到每秒 54.2 个 token，高于此前的 31.3。该结果仅针对说明中列出的配置；提示词处理仍使用现有内核，并且可以通过 GGML_SYCL_FA_DPAS=0 禁用新内核。

## 事实

- 版本：llama.cpp b11980。
- B580 上报告的结果：使用 Llama 3.1 8B Q4_K_M 和 q4_0 KV 缓存，在 16K 上下文下，速度从每秒 31.3 个 token 提升至 54.2 个。

## 为什么重要

对于使用量化缓存、在 Intel Arc B580 上进行解码的用户，这项改动有望在测试配置下加快 token 生成；但该版本没有证据表明提示词处理或其他硬件也会有类似提速。

## 来源与参考

1. [ggml-org/llama.cpp b11980](https://github.com/ggml-org/llama.cpp/releases/tag/b11980) – llama.cpp, 2026-10-29

最后更新: 2026-10-29