# llama.cpp optimaliseert KV-dequantisatie op Vulkan

> De opensourcebibliotheek Llama.cpp ondersteunt nu een gedequantiseerde key-value-cache op Vulkan-GPU’s, wat de snelheid verhoogt bij bepaalde modelkoppen.

Oossa · 2026-11-11 · https://oossa.com/nl/llama-cpp-adds-vulkan-kv-dequantization-optimization

Het team van ggml-org heeft versie b12291 van llama.cpp uitgebracht. Deze voegt een op Vulkan gebaseerde optimalisatie toe die de key-value-cache dequantiseert met de coopmat2-instructie. De wijziging wordt alleen toegepast als een heuristiek op basis van querytokens en de GQA-verhouding dit veilig acht. De update verbetert ook de verwerking van uitlijning bij bepaalde kopgroottes, wat de prestaties ten goede komt wanneer de optimalisatie niet kan worden gebruikt.

## De feiten

- Releaselabel b12291 gepubliceerd op 2026-11-11
- Voegt een gequantiseerde KV-optimalisatie toe voor Vulkan-GPU’s

## Waarom het ertoe doet

Ontwikkelaars die Llama-modellen draaien op hardware die compatibel is met Vulkan, kunnen sneller inferentie uitvoeren zonder hun code aan te passen.

## Bronnen en referenties

1. [ggml-org/llama.cpp b12291](https://github.com/ggml-org/llama.cpp/releases/tag/b12291) – llama.cpp, 2026-11-11

Laatst bijgewerkt: 2026-11-11