La versión b11980 de llama.cpp añade un kernel de flash attention SYCL para decodificar con cachés de clave-valor cuantizadas q4_0 y q8_0. Admite lotes de entre 1 y 31 tokens de consulta y evita la desquantización escalar o la conversión de toda la caché a f16 en cada llamada.
Las notas de la versión indican que, en una Intel Arc B580, Llama 3.1 8B Q4_K_M con una caché q4_0 alcanzó 54.2 tokens por segundo con un contexto de 16K, frente a los 31.3 anteriores. El resultado corresponde a una configuración concreta; el procesamiento de prompts sigue usando los kernels existentes y se puede desactivar el nuevo kernel con GGML_SYCL_FA_DPAS=0.
Por qué importa
Para quienes generan texto en una Intel Arc B580 con cachés cuantizadas, esto podría acelerar la generación de tokens en la configuración probada. La versión no aporta pruebas de que el procesamiento de prompts u otro hardware también vayan a ser más rápidos.
