# llama.cpp accelera l’attenzione SYCL con cache quantizzate

> La versione b11980 introduce un kernel per GPU Intel, pensato per la decodifica con batch piccoli e cache KV q4_0 e q8_0; i prompt continuano a usare i kernel esistenti.

Oossa · 2026-10-29 · https://oossa.com/it/llama-cpp-adds-faster-sycl-attention-for-quantized-caches

La versione b11980 di llama.cpp aggiunge un kernel SYCL di flash attention per la decodifica con cache key-value quantizzate q4_0 e q8_0. Gestisce batch da 1 a 31 token di query, evitando la dequantizzazione scalare o la conversione dell’intera cache in f16 a ogni chiamata.

Le note di rilascio riportano che su una Intel Arc B580, Llama 3.1 8B Q4_K_M con una cache q4_0 ha raggiunto 54.2 token al secondo con un contesto di 16K, rispetto ai 31.3 precedenti. Il risultato si riferisce a una sola configurazione dichiarata; l’elaborazione dei prompt continua a usare i kernel esistenti e il nuovo kernel può essere disattivato con GGML_SYCL_FA_DPAS=0.

## I fatti

- Versione: llama.cpp b11980.
- Risultato dichiarato su B580: da 31.3 a 54.2 token al secondo con un contesto di 16K, usando Llama 3.1 8B Q4_K_M e una cache KV q4_0.

## Perché conta

Per chi genera token su una Intel Arc B580 con cache quantizzate, questo potrebbe tradursi in una generazione più rapida nella configurazione testata; la versione non fornisce indicazioni su possibili miglioramenti nell’elaborazione dei prompt o su altro hardware.

## Fonti e riferimenti

1. [ggml-org/llama.cpp b11980](https://github.com/ggml-org/llama.cpp/releases/tag/b11980) – llama.cpp, 2026-10-29

Ultimo aggiornamento: 2026-10-29