Microsoft anunció que ampliará la familia Azure Maia hasta alcanzar despliegues de varios gigavatios a partir de 2027. El nuevo acelerador Maia 300 está diseñado para tareas de inferencia que requieren contextos largos y una gran capacidad de decodificación, no para entrenar modelos. Microsoft afirma que Maia 300 ofrecerá un 40 % más de tokens por megavatio que los principales sistemas basados en GPU y hasta siete veces el rendimiento de tokens a escala de rack de su predecesor, Maia 200.
Características de Maia 300
Cada acelerador Maia 300 incorpora ocho pilas de memoria HBM4, con 288 GB de memoria rápida y un ancho de banda de 18 TB/s, dentro de un límite de consumo de 950 vatios. Un rack aloja 96 aceleradores en 24 bandejas, consume 167 kW y ofrece 27,6 TB de HBM y un ancho de banda agregado de 1,7 PB/s. Los chips se fabrican con el proceso N2P de TSMC y utilizan una arquitectura de memoria NUMA para que el software mantenga los datos cerca de los núcleos de procesamiento.
La red del sistema utiliza un transporte de IA personalizado sobre Ethernet. Los aceleradores pueden comunicarse directamente con cualquier otro del «superpod» a escala de rack, sin recurrir a una CPU anfitriona ni a una tarjeta de red independiente. Se pueden conectar hasta 128 racks para formar un superpod de 12.288 aceleradores. Microsoft afirma que esta infraestructura permite sustituir sin interrupciones una bandeja averiada por una de reserva.
Reacciones a la afirmación sobre eficiencia
La métrica más destacada —tokens por vatio— ha sido calificada de «absurda» por comentaristas que señalan que las definiciones de token varían y que el indicador no tiene en cuenta factores como la latencia o el costo por token. Los críticos también preguntan qué longitudes de contexto se utilizaron para afirmar que la mejora es del 40 % y señalan que las cargas de trabajo con contextos largos suelen estar limitadas por la memoria, no por la capacidad de procesamiento.
Por qué importa
Para quienes usan los servicios propios de Microsoft, el nuevo hardware podría traducirse en respuestas más rápidas y menores costos energéticos si se cumple la eficiencia anunciada. Sin embargo, Microsoft no ha dicho si los clientes externos podrán alquilar capacidad de Maia, así que por ahora el beneficio podría limitarse a los productos de la compañía.
