Команда исследователей Microsoft в области ИИ представила базовую модель MAI-Base-2 на 2 трлн параметров. Она использует архитектуру «смесь экспертов» (MoE): на каждый запрос активируются лишь 80 млрд нейронов, благодаря чему, согласно внутренним тестам, модель до 12 раз эффективнее использует оборудование. Обучение длилось 38 дней на 16 000 чипах Nvidia GB200 и проводилось на наборе данных объёмом 50 трлн токенов, включавшем визуальный компонент. Microsoft предоставит веса модели доверенным партнёрам по лицензии через Azure и будет создавать на её основе последующие большие языковые модели.
Почему это важно
Получившие доступ через Azure разработчики смогут создавать более мощные ИИ-сервисы, расходуя меньше вычислительных ресурсов.
