# llama.cpp optimerar dekvantisering av KV-cache i Vulkan

> Biblioteket Llama.cpp med öppen källkod stöder nu en dekvantiserad nyckel-värde-cache på Vulkan-GPU:er, vilket ger högre hastighet för vissa modellhuvuden.

Oossa · 2026-11-11 · https://oossa.com/sv/llama-cpp-adds-vulkan-kv-dequantization-optimization

Teamet bakom ggml-org har släppt llama.cpp version b12291. Uppdateringen innehåller en Vulkan-baserad optimering som dekvantiserar nyckel-värde-cachen med hjälp av instruktionen coopmat2. Ändringen används bara när en tumregel baserad på antalet frågetoken och GQA-förhållandet bedömer att det är säkert. Uppdateringen rättar också hanteringen av minnesjustering för vissa huvudstorlekar, vilket förbättrar prestandan när optimeringen inte kan användas.

## Fakta

- Versionsmärkningen b12291 publicerades 2026-11-11
- Lägger till optimering för dekvantiserad KV-cache på Vulkan-GPU:er

## Varför det spelar roll

Utvecklare som kör Llama-modeller på Vulkan-kompatibel hårdvara kan få snabbare inferens utan att ändra sin kod.

## Källor och referenser

1. [ggml-org/llama.cpp b12291](https://github.com/ggml-org/llama.cpp/releases/tag/b12291) – llama.cpp, 2026-11-11

Senast uppdaterad: 2026-11-11