ggml‑org टीम ने 5 Oct 2026 को llama.cpp का संस्करण b11413 जारी किया। इस अपडेट में quantized key/value tensors के साथ काम करने वाला sparse flash attention का Vulkan कार्यान्वयन शामिल है। इस बदलाव को “quantized K/V के लिए sparse flash attention” बताया गया है और यह GPU-त्वरित inference के लिए है। रिलीज़ में कई प्लेटफ़ॉर्म के बिल्ड भी शामिल हैं—macOS Apple Silicon से लेकर Windows CUDA और Vulkan तक।
यह क्यों मायने रखता है
अब डेवलपर Vulkan सपोर्ट वाले GPU पर quantized मॉडल तेज़ी से चला सकते हैं, जिससे edge devices के लिए compute cost घट सकती है।
