llama.cpp प्रोजेक्ट ने 2026-10-15 को संस्करण b11636 जारी किया। इसमें SYCL के तहत चलने पर IQ3_S और IQ3_XXS क्वांटाइज़ेशन के लिए वेट का स्थायी लेआउट जोड़ा गया है। मॉडल लोड होते समय वेट का क्रम एक बार बदला जाता है, जिससे GPU को बिट्स इकट्ठा करने के बजाय सघन ब्लॉक्स प्रोसेस करने मिलते हैं। इससे डिकोडिंग और प्रीफिल तेज़ होते हैं। Intel Arc Pro B70 GPU पर Qwen3.8‑27B मॉडल की टोकन दर छोटे प्रॉम्प्ट के लिए 12.92 से बढ़कर 23.54 टोकन प्रति सेकंड हो गई—यानी 82 % की बढ़ोतरी।
यह क्यों मायने रखता है
SYCL-संगत GPU पर llama.cpp चलाने वाले डेवलपर मॉडल कोड में बदलाव किए बिना जवाबों की गति काफ़ी बढ़ा सकते हैं।
