A versão b11980 do llama.cpp adiciona um kernel de flash attention SYCL para decodificação com caches de chave e valor quantizados q4_0 e q8_0. Ele processa lotes de 1 a 31 tokens de consulta, evitando a desquantização escalar ou a conversão de todo o cache para f16 a cada chamada.
As notas da versão informam que, em uma Intel Arc B580, o modelo Llama 3.1 8B Q4_K_M com cache q4_0 atingiu 54.2 tokens por segundo em um contexto de 16K, ante 31.3. O resultado se refere a uma configuração específica; o processamento de prompts continua usando os kernels existentes, e é possível desativar o novo kernel com GGML_SYCL_FA_DPAS=0.
Por que importa
Para quem faz decodificação em uma Intel Arc B580 com caches quantizados, isso pode significar geração mais rápida de tokens na configuração testada; a versão não apresenta evidências de ganhos semelhantes no processamento de prompts ou em outros hardwares.
