# llama.cpp में quantized K/V के लिए Vulkan sparse flash attention

> ओपन-सोर्स LLM रनटाइम अब quantized K/V डेटा के लिए Vulkan-आधारित sparse flash-attention मोड को सपोर्ट करता है।

Oossa · 2026-10-05 · https://oossa.com/hi/llama-cpp-adds-vulkan-sparse-flash-attention-for-quantized-keys-and-values

ggml‑org टीम ने 5 Oct 2026 को llama.cpp का संस्करण b11413 जारी किया। इस अपडेट में quantized key/value tensors के साथ काम करने वाला sparse flash attention का Vulkan कार्यान्वयन शामिल है। इस बदलाव को “quantized K/V के लिए sparse flash attention” बताया गया है और यह GPU-त्वरित inference के लिए है। रिलीज़ में कई प्लेटफ़ॉर्म के बिल्ड भी शामिल हैं—macOS Apple Silicon से लेकर Windows CUDA और Vulkan तक।

## तथ्य

- संस्करण b11413, Mon Oct 05 2026 को जारी हुआ
- नई सुविधा: quantized K/V के लिए Vulkan sparse flash attention

## यह क्यों मायने रखता है

अब डेवलपर Vulkan सपोर्ट वाले GPU पर quantized मॉडल तेज़ी से चला सकते हैं, जिससे edge devices के लिए compute cost घट सकती है।

## स्रोत और संदर्भ

1. [ggml-org/llama.cpp b11413](https://github.com/ggml-org/llama.cpp/releases/tag/b11413) – llama.cpp, 2026-10-05

अंतिम अपडेट: 2026-10-05