A PrimeIntellect‑ai publicou no GitHub o repositório dion, com implementações eficientes dos otimizadores Dion e Muon para treinamento distribuído de modelos de aprendizado de máquina. O código é compatível com versões modernas do PyTorch (v2.7 ou posteriores) e oferece suporte a paralelismo baseado em DTensor, como DDP, FSDP2 e paralelismo de tensores. É possível instalar o pacote diretamente do repositório com pip. O README inclui scripts de exemplo para treinar um modelo GPT-small em oito GPUs.
Por que importa
O repositório oferece aos pesquisadores um otimizador pronto para uso e eficiente em comunicação, capaz de acelerar o treinamento de modelos em grande escala.
