De release llama.cpp b11980 voegt een SYCL-flash-attentionkernel toe voor decoding met gequantiseerde key-value-caches van het type q4_0 en q8_0. De kernel verwerkt batches van 1 tot 31 querytokens, zodat scalaire dequantisatie of het omzetten van de volledige cache naar f16 bij elke aanroep niet nodig is.
Volgens de release notes haalde Llama 3.1 8B Q4_K_M met een q4_0-cache op een Intel Arc B580 54.2 tokens per seconde bij een context van 16K, tegenover 31.3 eerder. Dit resultaat geldt voor één specifieke configuratie; promptverwerking blijft de bestaande kernels gebruiken. De nieuwe kernel kan worden uitgeschakeld met GGML_SYCL_FA_DPAS=0.
Waarom het ertoe doet
Voor wie op een Intel Arc B580 decodeert met gequantiseerde caches, kan dit in de geteste configuratie snellere tokengeneratie opleveren. De release biedt geen bewijs dat promptverwerking of andere hardware op vergelijkbare wijze sneller wordt.
