Versionen llama.cpp b11980 lägger till en SYCL-kärna för flash-attention vid avkodning med kvantiserade key-value-cacher av typen q4_0 och q8_0. Den hanterar batchar med 1 till 31 frågetoken och slipper därmed skalär avkvantisering eller att hela cachen konverteras till f16 vid varje anrop.
Enligt versionsinformationen nådde Llama 3.1 8B Q4_K_M med en q4_0-cache 54.2 token per sekund på en Intel Arc B580 vid en kontext på 16K, en ökning från 31.3. Resultatet gäller en specifik konfiguration. Promptbearbetningen använder fortfarande de befintliga kärnorna, och den nya kärnan kan inaktiveras med GGML_SYCL_FA_DPAS=0.
Varför det spelar roll
För den som avkodar med kvantiserade cacher på en Intel Arc B580 kan det här ge snabbare tokengenerering i den testade konfigurationen. Versionsinformationen visar inte att promptbearbetning eller annan hårdvara skulle bli snabbare i samma utsträckning.
