# llama.cpp acelera a atenção SYCL para caches quantizados

> A versão b11980 traz um kernel para GPUs Intel voltado à decodificação de pequenos lotes com caches KV q4_0 e q8_0; o processamento de prompts continua usando os kernels existentes.

Oossa · 2026-10-29 · https://oossa.com/pt/llama-cpp-adds-faster-sycl-attention-for-quantized-caches

A versão b11980 do llama.cpp adiciona um kernel de flash attention SYCL para decodificação com caches de chave e valor quantizados q4_0 e q8_0. Ele processa lotes de 1 a 31 tokens de consulta, evitando a desquantização escalar ou a conversão de todo o cache para f16 a cada chamada.

As notas da versão informam que, em uma Intel Arc B580, o modelo Llama 3.1 8B Q4_K_M com cache q4_0 atingiu 54.2 tokens por segundo em um contexto de 16K, ante 31.3. O resultado se refere a uma configuração específica; o processamento de prompts continua usando os kernels existentes, e é possível desativar o novo kernel com GGML_SYCL_FA_DPAS=0.

## Os fatos

- Versão: llama.cpp b11980.
- Resultado informado na B580: de 31.3 para 54.2 tokens por segundo em contexto de 16K, usando Llama 3.1 8B Q4_K_M e cache KV q4_0.

## Por que importa

Para quem faz decodificação em uma Intel Arc B580 com caches quantizados, isso pode significar geração mais rápida de tokens na configuração testada; a versão não apresenta evidências de ganhos semelhantes no processamento de prompts ou em outros hardwares.

## Fontes e referências

1. [ggml-org/llama.cpp b11980](https://github.com/ggml-org/llama.cpp/releases/tag/b11980) – llama.cpp, 2026-10-29

Última atualização: 2026-10-29