La versione b11980 di llama.cpp aggiunge un kernel SYCL di flash attention per la decodifica con cache key-value quantizzate q4_0 e q8_0. Gestisce batch da 1 a 31 token di query, evitando la dequantizzazione scalare o la conversione dell’intera cache in f16 a ogni chiamata.
Le note di rilascio riportano che su una Intel Arc B580, Llama 3.1 8B Q4_K_M con una cache q4_0 ha raggiunto 54.2 token al secondo con un contesto di 16K, rispetto ai 31.3 precedenti. Il risultato si riferisce a una sola configurazione dichiarata; l’elaborazione dei prompt continua a usare i kernel esistenti e il nuovo kernel può essere disattivato con GGML_SYCL_FA_DPAS=0.
Perché conta
Per chi genera token su una Intel Arc B580 con cache quantizzate, questo potrebbe tradursi in una generazione più rapida nella configurazione testata; la versione non fornisce indicazioni su possibili miglioramenti nell’elaborazione dei prompt o su altro hardware.
