Oossa

Consorcio de la UE entrena un modelo de IA de 1 billón de parámetros en un superordenador público

Con PyTorch y TorchTitan, el equipo de EUROPA alcanzó unos 1.300 tokens por segundo por GPU en 384 GPU NVIDIA GH200, y demostró que es posible entrenar modelos de vanguardia a gran escala en infraestructura compartida de la UE.

BrevePor Publicado por Oossa: 1 min de lectura

El consorcio EUROPA —Domyn, Fraunhofer IAIS e IIS— entrenó en JUPITER, el superordenador exaescala de EuroHPC en Forschungszentrum Jülich, un modelo de mezcla de expertos con alrededor de 1 billón de parámetros. Al optimizar PyTorch y TorchTitan, aumentó el rendimiento de 90 a aproximadamente 1.300 tokens por segundo por GPU en 384 GPU GH200 (96 nodos). El trabajo demuestra que la infraestructura pública y soberana de computación puede admitir IA a la misma escala que los clústeres privados.

Por qué importa

Demuestra que los recursos públicos de computación de Europa pueden ejecutar IA de vanguardia a gran escala, reduciendo la dependencia del alquiler de servicios de nube privada.

¿Te resultó útil este artículo?
Compartir

Sigue leyendo

Oossa · Boletín

La semana en IA, explicada

Cada lunes: las noticias que vale la pena conocer, en lenguaje sencillo. Gratis, sin spam.