ggml-org-teamet släppte llama.cpp version b11413 den 5 oktober 2026. Uppdateringen lägger till en Vulkan-implementation av gles flash attention som fungerar med kvantiserade nyckel-/värdetensorer. Ändringen beskrivs som ”sparse flash attention for quantized K/V” och riktar sig till GPU-accelererad inferens. I versionsinformationen listas också många plattformsbyggen, från Apple Silicon på macOS till CUDA och Vulkan på Windows.
Varför det spelar roll
Utvecklare kan nu köra kvantiserade modeller snabbare på GPU:er med Vulkan-stöd, vilket minskar beräkningskostnaderna för edge-enheter.
