# llama.cpp versnelt SYCL-attentie voor gequantiseerde caches

> Release b11980 voegt een Intel-GPU-kernel toe voor decoding met kleine batches en q4_0- en q8_0-KV-caches; prompts blijven de bestaande kernels gebruiken.

Oossa · 2026-10-29 · https://oossa.com/nl/llama-cpp-adds-faster-sycl-attention-for-quantized-caches

De release llama.cpp b11980 voegt een SYCL-flash-attentionkernel toe voor decoding met gequantiseerde key-value-caches van het type q4_0 en q8_0. De kernel verwerkt batches van 1 tot 31 querytokens, zodat scalaire dequantisatie of het omzetten van de volledige cache naar f16 bij elke aanroep niet nodig is.

Volgens de release notes haalde Llama 3.1 8B Q4_K_M met een q4_0-cache op een Intel Arc B580 54.2 tokens per seconde bij een context van 16K, tegenover 31.3 eerder. Dit resultaat geldt voor één specifieke configuratie; promptverwerking blijft de bestaande kernels gebruiken. De nieuwe kernel kan worden uitgeschakeld met GGML_SYCL_FA_DPAS=0.

## De feiten

- Release: llama.cpp b11980.
- Gemeld resultaat op de B580: van 31.3 naar 54.2 tokens per seconde bij een context van 16K, met Llama 3.1 8B Q4_K_M en een q4_0-KV-cache.

## Waarom het ertoe doet

Voor wie op een Intel Arc B580 decodeert met gequantiseerde caches, kan dit in de geteste configuratie snellere tokengeneratie opleveren. De release biedt geen bewijs dat promptverwerking of andere hardware op vergelijkbare wijze sneller wordt.

## Bronnen en referenties

1. [ggml-org/llama.cpp b11980](https://github.com/ggml-org/llama.cpp/releases/tag/b11980) – llama.cpp, 2026-10-29

Laatst bijgewerkt: 2026-10-29