PyTorch a publié la version 2.15, qui active par défaut son backend NCCL réécrit pour les tâches utilisant NCCL, le système de communication qui coordonne les GPU NVIDIA. Si un groupe de GPU se bloque pendant l’entraînement, un nouvel enregistreur peut conserver les opérations effectuées par chaque rang, afin d’aider les équipes à analyser le problème.
La version ajoute également des transferts de données unidirectionnels via un backend NIXL et donne aux développeurs davantage de contrôle sur la mémoire et les communications dans l’entraînement distribué. Parmi les autres nouveautés figurent des noyaux d’inférence plus rapides pour Apple Silicon, CUDA 13.2 comme version par défaut des packages wheel et la prise en charge de Python 3.15 dans torch.compile.
Pourquoi c'est important
Les équipes qui entraînent des modèles sur plusieurs GPU NVIDIA disposent de journaux de diagnostic en cas de blocage des communications, mais les notes de version ne précisent pas dans quelle mesure cela réduira le temps de reprise.
