Microsoft की AI रिसर्च टीम ने MAI-Base-2 पेश किया है, जो 2 ट्रिलियन पैरामीटर वाला बेस मॉडल है। इसमें मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) आर्किटेक्चर है, जो हर प्रॉम्प्ट पर केवल 80 बिलियन न्यूरॉन्स सक्रिय करता है। कंपनी के आंतरिक परीक्षणों में यह हार्डवेयर का इस्तेमाल 12 गुना तक अधिक कुशलता से करता है। मॉडल को 50 ट्रिलियन टोकन वाले डेटासेट पर 16,000 Nvidia GB200 चिप्स के साथ 38 दिनों तक प्रशिक्षित किया गया; इसमें विज़न घटक भी शामिल था। Microsoft भरोसेमंद साझेदारों को Azure के ज़रिए मॉडल के वेट्स का लाइसेंस देगा और इसी के आधार पर आगे के LLM बनाएगा।
यह क्यों मायने रखता है
Azure के ज़रिए इस मॉडल का ऐक्सेस पाने वाले डेवलपर कम कंप्यूट पावर में अधिक सक्षम AI सेवाएँ बना सकेंगे।
