# llama.cpp में छोटे बैच के लिए नए OpenCL कर्नेल

> ओपन-सोर्स Llama इन्फ़रेंस लाइब्रेरी में अब कम बैच वाले रन के लिए कई ऑप्टिमाइज़्ड OpenCL GEMM वैरिएंट हैं, जिससे Snapdragon GPU का सपोर्ट बढ़ा है।

Oossa · 2026-10-20 · https://oossa.com/hi/llama-cpp-adds-new-opencl-kernels-for-small-batch-workloads

ggml‑org/llama.cpp प्रोजेक्ट ने 2026‑10‑21 को अपडेट (b11763) जारी किया। इसमें छोटे बैच के मैट्रिक्स गुणा को तेज़ करने वाले कुछ OpenCL कर्नेल जोड़े गए हैं। इनमें q4_k dp4a GEMM और संकरा mul_mm_f16_f32 वैरिएंट शामिल हैं। इन बदलावों से आउट-ऑफ-बाउंड्स रीड की एक गड़बड़ी भी ठीक हुई है और CPU पर अनावश्यक फ़ॉलबैक रोकने वाली शर्त हटा दी गई है। यह लाइब्रेरी macOS Apple Silicon, Windows CUDA और Linux Vulkan समेत कई प्लेटफ़ॉर्म पर पहले से चलती है। अब इसमें Snapdragon CPU, Adreno GPU और Hexagon NPU का बेहतर सपोर्ट भी है।

## तथ्य

- छोटे बैच के लिए कई OpenCL GEMM वैरिएंट जोड़े गए हैं (जैसे q4_k dp4a और mul_mm_f16_f32)।
- रिलीज़ की तारीख: 2026‑10‑21।

## यह क्यों मायने रखता है

डेवलपर Snapdragon चिप वाले Android डिवाइस पर Llama मॉडल तेज़ी से चला सकेंगे, जिससे डिवाइस पर ही AI का इस्तेमाल अधिक व्यावहारिक होगा।

## स्रोत और संदर्भ

1. [ggml-org/llama.cpp b11763](https://github.com/ggml-org/llama.cpp/releases/tag/b11763) – llama.cpp, 2026-10-20

अंतिम अपडेट: 2026-10-20