# llama.cpp acelera la atención SYCL para cachés cuantizadas

> La versión b11980 añade un kernel para GPU Intel, pensado para decodificación con lotes pequeños y cachés KV q4_0 y q8_0; los prompts siguen usando los kernels existentes.

Oossa · 2026-10-29 · https://oossa.com/es/llama-cpp-adds-faster-sycl-attention-for-quantized-caches

La versión b11980 de llama.cpp añade un kernel de flash attention SYCL para decodificar con cachés de clave-valor cuantizadas q4_0 y q8_0. Admite lotes de entre 1 y 31 tokens de consulta y evita la desquantización escalar o la conversión de toda la caché a f16 en cada llamada.

Las notas de la versión indican que, en una Intel Arc B580, Llama 3.1 8B Q4_K_M con una caché q4_0 alcanzó 54.2 tokens por segundo con un contexto de 16K, frente a los 31.3 anteriores. El resultado corresponde a una configuración concreta; el procesamiento de prompts sigue usando los kernels existentes y se puede desactivar el nuevo kernel con GGML_SYCL_FA_DPAS=0.

## Los hechos

- Versión: llama.cpp b11980.
- Resultado publicado en la B580: de 31.3 a 54.2 tokens por segundo con un contexto de 16K, usando Llama 3.1 8B Q4_K_M y una caché KV q4_0.

## Por qué importa

Para quienes generan texto en una Intel Arc B580 con cachés cuantizadas, esto podría acelerar la generación de tokens en la configuración probada. La versión no aporta pruebas de que el procesamiento de prompts u otro hardware también vayan a ser más rápidos.

## Fuentes y referencias

1. [ggml-org/llama.cpp b11980](https://github.com/ggml-org/llama.cpp/releases/tag/b11980) – llama.cpp, 2026-10-29

Última actualización: 2026-10-29