PrimeIntellect‑ai hat auf GitHub ein Repository namens dion veröffentlicht. Es enthält effiziente Implementierungen der Optimizer Dion und Muon für verteiltes maschinelles Lernen. Der Code läuft mit aktuellen PyTorch-Versionen (v2.7 oder neuer) und unterstützt Parallelisierung auf Basis von DTensor, etwa DDP, FSDP2 und Tensor Parallelism. Nutzer können das Paket direkt aus dem Repository mit pip installieren. Die README enthält Beispielskripte, mit denen sich ein GPT-small-Modell auf acht GPUs trainieren lässt.
Warum es wichtig ist
Das Repository bietet Forschenden einen sofort einsetzbaren, kommunikationseffizienten Optimizer, der das Training großer Modelle beschleunigen kann.
