# llama.cpp、量子化KVキャッシュ向けSYCL注意機構を高速化

> b11980でIntel GPU向けカーネルを追加。q4_0とq8_0のKVキャッシュを使う小規模バッチのデコードに対応し、プロンプト処理には引き続き既存のカーネルを使用する。

Oossa · 2026-10-29 · https://oossa.com/ja/llama-cpp-adds-faster-sycl-attention-for-quantized-caches

llama.cppのリリースb11980では、q4_0およびq8_0の量子化キー・バリュー（KV）キャッシュを使ったデコード向けに、SYCLフラッシュアテンションカーネルが追加された。クエリトークン数が1～31のバッチを処理でき、呼び出しごとにスカラーで逆量子化したり、キャッシュ全体をf16に変換したりする必要がない。

リリースノートによると、Intel Arc B580でLlama 3.1 8B Q4_K_Mを実行し、q4_0キャッシュを使った場合、16Kコンテキストで毎秒54.2トークンに達し、従来の毎秒31.3トークンから向上した。これは特定の構成で得られた結果で、プロンプト処理には引き続き既存のカーネルが使われる。新しいカーネルはGGML_SYCL_FA_DPAS=0で無効にできる。

## 事実

- リリース：llama.cpp b11980。
- B580での公表値：Llama 3.1 8B Q4_K_Mとq4_0のKVキャッシュを使用し、16Kコンテキストで毎秒31.3トークンから毎秒54.2トークンに向上。

## なぜ重要か

量子化キャッシュを使ってIntel Arc B580でデコードするユーザーは、検証された構成でトークン生成が速くなる可能性がある。一方、プロンプト処理やほかのハードウェアでも同様に高速化するという根拠は、リリースノートには示されていない。

## 出典と参考資料

1. [ggml-org/llama.cpp b11980](https://github.com/ggml-org/llama.cpp/releases/tag/b11980) – llama.cpp, 2026-10-29

最終更新: 2026-10-29