ggml‑org टीम ने 17 Oct, 2026 को llama.cpp का संस्करण b11713 जारी किया। इस अपडेट में तेज़ MMVQ एल्गोरिदम के इस्तेमाल से कम-बिट टाइप के लिए CUDA परफॉर्मेंस बेहतर हुई है। इसमें Q3_K और Q6_K क्वांटाइज़ेशन पर HIP (AMD) GPU के लिए एक छोटा सुधार भी शामिल है। macOS, iOS और Ubuntu के कई टार्गेट (CPU, Vulkan, CUDA) के लिए पहले से बने बाइनरी अब डाउनलोड के लिए उपलब्ध हैं।
यह क्यों मायने रखता है
डेवलपर NVIDIA GPU पर क्वांटाइज़्ड LLM तेज़ी से चला सकते हैं, जिससे लोकल AI ऐप्लिकेशन में इन्फरेंस की लागत घट सकती है।
