Oossa

llama.cpp b11540 में MoE डिकोडिंग के लिए SYCL सपोर्ट

ओपन-सोर्स llama.cpp लाइब्रेरी का संस्करण b11540, 10 Oct 2026 को जारी हुआ। इसमें MXFP4 MoE मॉडल के लिए SYCL एक्सेलरेशन और macOS, iOS व Linux के नए बाइनरी जोड़े गए हैं।

संक्षिप्तलेखक: Oossa द्वारा प्रकाशित: 1 मिनट पढ़ना

ggml‑org टीम ने 10 Oct 2026 को llama.cpp का संस्करण b11540 जारी किया। इस अपडेट में arithmetic decoding और weight reordering का इस्तेमाल करते हुए MXFP4 mixture‑of‑experts (MoE) मॉडल को तेज़ चलाने के लिए SYCL सपोर्ट जोड़ा गया है। इसमें macOS Apple Silicon, Intel, iOS और Ubuntu के कई वेरिएंट (CPU, Vulkan और CUDA) के लिए पहले से तैयार बाइनरी भी शामिल हैं। बदलाव GitHub पर b11540 टैग के तहत सूचीबद्ध हैं।

यह क्यों मायने रखता है

अब डेवलपर SYCL सपोर्ट वाले GPU पर बड़े MoE मॉडल तेज़ी से चला सकते हैं। इससे llama.cpp इस्तेमाल करने वालों के लिए हार्डवेयर के विकल्प बढ़ते हैं।

क्या यह लेख उपयोगी था?
साझा करें

यह भी पढ़ें

Oossa · न्यूज़लेटर

AI का हफ़्ता, आसान भाषा में

हर सोमवार: जानने लायक खबरें, सरल भाषा में। मुफ़्त, कोई स्पैम नहीं।