# llama.cpp में IQ3 अनुमान तेज़ करने के लिए SYCL वेट रीऑर्डर

> ओपन-सोर्स llama.cpp लाइब्रेरी अब लोड होते समय IQ3_S और IQ3_XXS वेट का क्रम बदलती है, जिससे Intel Arc GPU पर टोकन प्रोसेसिंग तेज़ होती है।

Oossa · 2026-10-15 · https://oossa.com/hi/llama-cpp-adds-sycl-weight-reorder-for-faster-iq3-inference

llama.cpp प्रोजेक्ट ने 2026-10-15 को संस्करण b11636 जारी किया। इसमें SYCL के तहत चलने पर IQ3_S और IQ3_XXS क्वांटाइज़ेशन के लिए वेट का स्थायी लेआउट जोड़ा गया है। मॉडल लोड होते समय वेट का क्रम एक बार बदला जाता है, जिससे GPU को बिट्स इकट्ठा करने के बजाय सघन ब्लॉक्स प्रोसेस करने मिलते हैं। इससे डिकोडिंग और प्रीफिल तेज़ होते हैं। Intel Arc Pro B70 GPU पर Qwen3.8‑27B मॉडल की टोकन दर छोटे प्रॉम्प्ट के लिए 12.92 से बढ़कर 23.54 टोकन प्रति सेकंड हो गई—यानी 82 % की बढ़ोतरी।

## तथ्य

- जारी होने की तारीख: 2026-10-15 ("Thu Oct 15 2026 06:50:37 GMT+0200")
- Intel Arc Pro B70 पर IQ3_S के लिए टोकन गति 12.92 t/s से बढ़कर 23.54 t/s हुई (+82 %)

## यह क्यों मायने रखता है

SYCL-संगत GPU पर llama.cpp चलाने वाले डेवलपर मॉडल कोड में बदलाव किए बिना जवाबों की गति काफ़ी बढ़ा सकते हैं।

## स्रोत और संदर्भ

1. [ggml-org/llama.cpp b11636](https://github.com/ggml-org/llama.cpp/releases/tag/b11636) – llama.cpp, 2026-10-15

अंतिम अपडेट: 2026-10-15