# llama.cpp beschleunigt SYCL-Attention für quantisierte Caches

> Version b11980 ergänzt einen Intel-GPU-Kernel für die Dekodierung kleiner Batches mit q4_0- und q8_0-KV-Caches. Für Prompts kommen weiterhin die vorhandenen Kernel zum Einsatz.

Oossa · 2026-10-29 · https://oossa.com/de/llama-cpp-adds-faster-sycl-attention-for-quantized-caches

Die Version llama.cpp b11980 ergänzt einen SYCL-Flash-Attention-Kernel für die Dekodierung mit quantisierten Key-Value-Caches im Format q4_0 und q8_0. Er verarbeitet Batches mit 1 bis 31 Query-Tokens und macht damit eine schrittweise Dequantisierung oder die Umwandlung des gesamten Caches in f16 bei jedem Aufruf überflüssig.

Laut den Versionshinweisen erreichte Llama 3.1 8B Q4_K_M mit einem q4_0-Cache auf einer Intel Arc B580 bei einem Kontext von 16K 54,2 Tokens pro Sekunde, gegenüber zuvor 31,3. Dieses Ergebnis gilt für die angegebene Konfiguration. Die Verarbeitung von Prompts nutzt weiterhin die vorhandenen Kernel; der neue Kernel lässt sich mit GGML_SYCL_FA_DPAS=0 deaktivieren.

## Die Fakten

- Version: llama.cpp b11980.
- Angegebenes Ergebnis auf der B580: 31,3 bis 54,2 Tokens pro Sekunde bei einem Kontext von 16K mit Llama 3.1 8B Q4_K_M und einem q4_0-KV-Cache.

## Warum es wichtig ist

Wer auf einer Intel Arc B580 mit quantisierten Caches Tokens generiert, könnte in der getesteten Konfiguration schneller arbeiten. Die Versionshinweise belegen jedoch nicht, dass auch die Prompt-Verarbeitung oder andere Hardware ähnlich stark profitieren.

## Quellen und Referenzen

1. [ggml-org/llama.cpp b11980](https://github.com/ggml-org/llama.cpp/releases/tag/b11980) – llama.cpp, 2026-10-29

Zuletzt aktualisiert: 2026-10-29