← सभी एआई शब्द
मिक्सचर ऑफ़ एक्सपर्ट्स का मतलब क्या है?
मिक्सचर ऑफ़ एक्सपर्ट्स (MoE)
ऐसा मॉडल डिज़ाइन जो नेटवर्क को कई ‘एक्सपर्ट’ में बाँटता है और हर शब्द के लिए कुछ ही इस्तेमाल करता है, जिससे बड़े मॉडल सस्ते में चलते हैं।
मिक्सचर ऑफ़ एक्सपर्ट्स से जुड़ी खबरें
- llama.cpp b11755 में 9-एक्सपर्ट टोकन के लिए नया MoE कर्नेल
- Ollama v0.40.8‑rc0 में Flint कोडिंग मॉडल आया
- Recursive ने 40B पैरामीटर वाला ओपन-वेट कोडिंग मॉडल Flint लॉन्च किया
- llama.cpp में MoE एक्सपर्ट्स के लिए GPU कैश
- llama.cpp में MoE मॉडल के लिए हर टोकन पर अलग स्केलिंग
- Meta ने जारी किया 816 B वाला मल्टीमॉडल MoE मॉडल Muse Spark Open