El equipo de investigación de IA de Microsoft anunció MAI-Base-2, un modelo base de 2 billones de parámetros. Utiliza una arquitectura de mezcla de expertos (MoE) que activa solo 80.000 millones de neuronas por indicación, lo que lo hace hasta 12 veces más eficiente en hardware según pruebas internas. El modelo se entrenó durante 38 días con 16.000 chips Nvidia GB200 y un conjunto de datos de 50 billones de tokens, que incluye un componente de visión. Microsoft concederá licencias de los pesos del modelo a socios de confianza a través de Azure y desarrollará modelos de lenguaje grandes (LLM) derivados a partir de él.
Por qué importa
Los desarrolladores que obtengan acceso a través de Azure podrían crear servicios de IA más capaces con menos potencia de cálculo.
