# llama.cpp में MoE मॉडल के लिए हर टोकन पर अलग स्केलिंग

> ओपन-सोर्स llama.cpp लाइब्रेरी अब MoE डाउन-प्रोजेक्शन को हर टोकन के हिसाब से स्केल करती है, जिससे टेंसर-पैरेलल सपोर्ट बेहतर होता है।

Oossa · 2026-10-21 · https://oossa.com/hi/llama-cpp-adds-per-expert-token-scaling-for-moe-models

ggml-org/llama.cpp प्रोजेक्ट ने 2026-10-21 को नया संस्करण जारी किया। इसमें मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) डाउन-प्रोजेक्शन के लिए एक ही वैश्विक स्केलिंग फ़ैक्टर की जगह हर एक्सपर्ट-टोकन के लिए अलग फ़ैक्टर इस्तेमाल किया गया है, जो POOL_1D मैक्स रिडक्शन का उपयोग करता है। इस बदलाव में स्प्लिट-स्टेट लॉजिक में POOL_1D को संभालकर टेंसर पैरेललिज़्म का सपोर्ट भी जोड़ा गया है। अपडेट में कोड की सफ़ाई और स्केलिंग रिटर्न स्ट्रक्चर को नए सिरे से व्यवस्थित करना भी शामिल है।

## तथ्य

- रिलीज़ की तारीख: 2026-10-21 ("Wed Oct 21 2026 08:33:35 GMT+0200")
- बदलाव: MoE डाउन-प्रोजेक्शन के लिए हर एक्सपर्ट-टोकन पर अलग स्केलिंग

## यह क्यों मायने रखता है

MoE मॉडल चलाने वाले डेवलपर अब हर टोकन पर अधिक सटीक स्केलिंग पा सकते हैं, जिससे कई GPU वाले सेटअप में प्रदर्शन बेहतर हो सकता है।

## स्रोत और संदर्भ

1. [ggml-org/llama.cpp b11785](https://github.com/ggml-org/llama.cpp/releases/tag/b11785) – llama.cpp, 2026-10-21

अंतिम अपडेट: 2026-10-21