ggml-org/llama.cpp प्रोजेक्ट ने 2026-10-21 को नया संस्करण जारी किया। इसमें मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) डाउन-प्रोजेक्शन के लिए एक ही वैश्विक स्केलिंग फ़ैक्टर की जगह हर एक्सपर्ट-टोकन के लिए अलग फ़ैक्टर इस्तेमाल किया गया है, जो POOL_1D मैक्स रिडक्शन का उपयोग करता है। इस बदलाव में स्प्लिट-स्टेट लॉजिक में POOL_1D को संभालकर टेंसर पैरेललिज़्म का सपोर्ट भी जोड़ा गया है। अपडेट में कोड की सफ़ाई और स्केलिंग रिटर्न स्ट्रक्चर को नए सिरे से व्यवस्थित करना भी शामिल है।
यह क्यों मायने रखता है
MoE मॉडल चलाने वाले डेवलपर अब हर टोकन पर अधिक सटीक स्केलिंग पा सकते हैं, जिससे कई GPU वाले सेटअप में प्रदर्शन बेहतर हो सकता है।
