Die Version llama.cpp b11980 ergänzt einen SYCL-Flash-Attention-Kernel für die Dekodierung mit quantisierten Key-Value-Caches im Format q4_0 und q8_0. Er verarbeitet Batches mit 1 bis 31 Query-Tokens und macht damit eine schrittweise Dequantisierung oder die Umwandlung des gesamten Caches in f16 bei jedem Aufruf überflüssig.
Laut den Versionshinweisen erreichte Llama 3.1 8B Q4_K_M mit einem q4_0-Cache auf einer Intel Arc B580 bei einem Kontext von 16K 54,2 Tokens pro Sekunde, gegenüber zuvor 31,3. Dieses Ergebnis gilt für die angegebene Konfiguration. Die Verarbeitung von Prompts nutzt weiterhin die vorhandenen Kernel; der neue Kernel lässt sich mit GGML_SYCL_FA_DPAS=0 deaktivieren.
Warum es wichtig ist
Wer auf einer Intel Arc B580 mit quantisierten Caches Tokens generiert, könnte in der getesteten Konfiguration schneller arbeiten. Die Versionshinweise belegen jedoch nicht, dass auch die Prompt-Verarbeitung oder andere Hardware ähnlich stark profitieren.
