Het ggml-org-team bracht op 5 oktober 2026 llama.cpp versie b11413 uit. De update voegt een Vulkan-implementatie van sparse flash attention toe die werkt met gequantiseerde key/value-tensors. De wijziging wordt omschreven als ‘sparse flash attention for quantized K/V’ en is bedoeld voor GPU-versnelde inferentie. De release bevat ook builds voor tal van platforms, van Apple Silicon op macOS tot CUDA en Vulkan op Windows.
Waarom het ertoe doet
Ontwikkelaars kunnen gequantiseerde modellen nu sneller uitvoeren op GPU’s met Vulkan-ondersteuning, waardoor de rekenkosten voor edge-apparaten dalen.
