ggml‑org टीम ने llama.cpp का b11685 वर्ज़न जारी किया है। इसमें q4_K और q5_K वेट्स के डी-क्वांटाइज़ेशन के लिए ‘वाइड स्टोर्स’ नाम का SYCL ऑप्टिमाइज़ेशन जोड़ा गया है। रिलीज़ में macOS Apple Silicon, macOS Intel, iOS और Ubuntu के कई बिल्ड (CPU, Vulkan और CUDA 12.8) के लिए पहले से तैयार बाइनरी शामिल हैं। यह बदलाव SYCL-संगत GPU पर क्वांटाइज़्ड मॉडल का इन्फ़रेंस तेज़ करने के लिए है।
यह क्यों मायने रखता है
डेवलपर SYCL GPU पर क्वांटाइज़्ड LLM तेज़ी से चला सकेंगे, जिससे AI ऐप्स के लिए किफ़ायती हार्डवेयर के विकल्प बढ़ेंगे।
