# llama.cpp optimiert KV-Dekodierung auf Vulkan-GPUs

> Die Open-Source-Bibliothek llama.cpp unterstützt nun einen dequantisierten Key-Value-Cache auf Vulkan-GPUs und beschleunigt damit bestimmte Modellköpfe.

Oossa · 2026-11-11 · https://oossa.com/de/llama-cpp-adds-vulkan-kv-dequantization-optimization

Das Team von ggml-org hat llama.cpp in Version b12291 veröffentlicht. Das Update bringt eine Vulkan-Optimierung, die den Key-Value-Cache mithilfe der coopmat2-Instruktion dequantisiert. Sie kommt nur zum Einsatz, wenn eine Heuristik auf Grundlage der Query-Token und des GQA-Verhältnisses sie als sicher einstuft. Außerdem wurde die Verarbeitung der Speicher-Ausrichtung für bestimmte Head-Größen korrigiert. Das verbessert die Leistung, wenn die Optimierung nicht verwendet werden kann.

## Die Fakten

- Release-Tag b12291 am 2026-11-11 veröffentlicht
- Dequantisierte KV-Optimierung für Vulkan-GPUs hinzugefügt

## Warum es wichtig ist

Entwickler, die Llama-Modelle auf Vulkan-kompatibler Hardware ausführen, können von einer schnelleren Inferenz profitieren, ohne ihren Code ändern zu müssen.

## Quellen und Referenzen

1. [ggml-org/llama.cpp b12291](https://github.com/ggml-org/llama.cpp/releases/tag/b12291) – llama.cpp, 2026-11-11

Zuletzt aktualisiert: 2026-11-11