ggml‑org/llama.cpp प्रोजेक्ट ने 2026‑10‑21 को अपडेट (b11763) जारी किया। इसमें छोटे बैच के मैट्रिक्स गुणा को तेज़ करने वाले कुछ OpenCL कर्नेल जोड़े गए हैं। इनमें q4_k dp4a GEMM और संकरा mul_mm_f16_f32 वैरिएंट शामिल हैं। इन बदलावों से आउट-ऑफ-बाउंड्स रीड की एक गड़बड़ी भी ठीक हुई है और CPU पर अनावश्यक फ़ॉलबैक रोकने वाली शर्त हटा दी गई है। यह लाइब्रेरी macOS Apple Silicon, Windows CUDA और Linux Vulkan समेत कई प्लेटफ़ॉर्म पर पहले से चलती है। अब इसमें Snapdragon CPU, Adreno GPU और Hexagon NPU का बेहतर सपोर्ट भी है।
यह क्यों मायने रखता है
डेवलपर Snapdragon चिप वाले Android डिवाइस पर Llama मॉडल तेज़ी से चला सकेंगे, जिससे डिवाइस पर ही AI का इस्तेमाल अधिक व्यावहारिक होगा।
