A equipe de pesquisa de IA da Microsoft anunciou o MAI-Base-2, um modelo-base com 2 trilhões de parâmetros. Ele usa uma arquitetura de mistura de especialistas (MoE), que ativa apenas 80 bilhões de neurônios por prompt, tornando-o até 12 vezes mais eficiente em termos de hardware em testes internos. O modelo foi treinado durante 38 dias em 16.000 chips Nvidia GB200, com um conjunto de dados de 50 trilhões de tokens que inclui um componente de visão. A Microsoft vai licenciar os pesos do modelo a parceiros de confiança por meio do Azure e desenvolver LLMs derivados a partir dele.
Por que importa
Desenvolvedores que tiverem acesso pelo Azure poderão criar serviços de IA mais capazes usando menos poder computacional.
