ggml-org टीम ने 2026-10-09 को llama.cpp का b11534 संस्करण जारी किया। इस अपडेट में स्टेट-स्नैपशॉट की कॉपी को रिकरेंट कैश में शामिल किया गया है और K = 1 होने पर अतिरिक्त CUDA कॉपी हटा दी गई हैं। यह नॉन-स्पेक्युलेटिव डिकोडिंग का मामला है। यह बदलाव सिर्फ CUDA बैकएंड तक सीमित है, इसलिए CPU और Vulkan बिल्ड में कोई बदलाव नहीं हुआ है। macOS, iOS और Ubuntu के कई संस्करणों के लिए पहले से बने बाइनरी डाउनलोड के लिए उपलब्ध हैं।
CUDA संस्करण इस्तेमाल करने वालों को GPU मेमोरी में डेटा का आवागमन थोड़ा कम दिखना चाहिए, जिससे समर्थित हार्डवेयर पर गति बेहतर हो सकती है।
यह क्यों मायने रखता है
CUDA उपयोगकर्ताओं को तेज़ इन्फ़रेंस मिल सकता है, क्योंकि अब लाइब्रेरी GPU पर कम डेटा का आवागमन करती है।
