ओपन-सोर्स llama.cpp लाइब्रेरी का नया संस्करण 2026‑10‑18 को जारी हुआ। इसमें non-contiguous SUM सपोर्ट जोड़ा गया है। यह बदलाव CPU, CUDA, Vulkan और WebGPU बैकएंड पर काम करता है, और टेस्ट सूट में अब ऐसे व्यू के लिए केस भी शामिल हैं। अपडेट में macOS, Linux, Android और Windows के लिए पहले से तैयार बाइनरी की सूची भी बढ़ाई गई है। इनमें Apple Silicon, Intel, AMD, NVIDIA CUDA 12/13 और Snapdragon NPU जैसे कई हार्डवेयर कॉम्बिनेशन शामिल हैं। डाउनलोड के लिए प्रोजेक्ट की वेबसाइट और अटेस्टेशन के लिंक दिए गए हैं।
यह क्यों मायने रखता है
डेवलपर अब ज़्यादा तरह के डिवाइस पर तेज़ी से और कम मेमोरी में summation चला सकते हैं, जिससे LLM inference pipeline का प्रदर्शन बेहतर हो सकता है।
