PrimeIntellect‑ai ha publicado en GitHub un repositorio llamado dion que incluye implementaciones eficientes de los optimizadores Dion y Muon para el entrenamiento distribuido de modelos de aprendizaje automático. El código funciona con versiones modernas de PyTorch (v2.7 o posteriores) y admite el paralelismo basado en DTensor, como DDP, FSDP2 y el paralelismo de tensores. Los usuarios pueden instalar el paquete directamente desde el repositorio con pip. El README incluye scripts de ejemplo para entrenar un modelo GPT-small con ocho GPU.
Por qué importa
Pone a disposición de los investigadores un optimizador listo para usar y eficiente en comunicaciones, que puede acelerar el entrenamiento de modelos a gran escala.
