Het AI-onderzoeksteam van Microsoft heeft MAI-Base-2 aangekondigd, een basismodel met 2 biljoen parameters. Het maakt gebruik van een mixture-of-experts-architectuur (MoE), waarbij per prompt slechts 80 miljard neuronen worden geactiveerd. Daardoor is het model volgens interne tests tot 12 keer efficiënter met hardware. Het is in 38 dagen getraind op 16.000 Nvidia GB200-chips met een dataset van 50 biljoen tokens, inclusief een vision-component. Microsoft stelt de modelgewichten via Azure beschikbaar aan vertrouwde partners en zal er zelf verdere LLM’s op bouwen.
Waarom het ertoe doet
Ontwikkelaars die via Azure toegang krijgen, kunnen krachtigere AI-diensten bouwen en daarbij minder rekenkracht gebruiken.
