Microsofts KI-Forschungsteam hat MAI-Base-2 vorgestellt, ein Basismodell mit 2 Billionen Parametern. Es nutzt eine Mixture-of-Experts-Architektur (MoE), bei der pro Prompt nur 80 Milliarden Neuronen aktiviert werden. Dadurch ist es laut internen Tests bis zu 12-mal hardwareeffizienter. Trainiert wurde das Modell 38 Tage lang auf 16.000 Nvidia-GB200-Chips mit einem Datensatz aus 50 Billionen Tokens, der auch eine Komponente für Bildverarbeitung umfasst. Microsoft wird vertrauenswürdigen Partnern die Modellgewichte über Azure lizenzieren und darauf aufbauend weitere große Sprachmodelle entwickeln.
Warum es wichtig ist
Entwickler mit Zugang über Azure könnten leistungsfähigere KI-Dienste entwickeln und dabei weniger Rechenleistung benötigen.
