PyTorch ha rilasciato la versione 2.15, impostando come predefinito il backend NCCL riscritto per i processi che usano NCCL, il sistema di comunicazione che coordina le GPU NVIDIA. Se un gruppo di GPU si blocca durante l’addestramento, un nuovo flight recorder può registrare le operazioni in corso su ciascun rank, aiutando i team a indagare sul problema.
La release introduce anche trasferimenti di dati unidirezionali tramite un backend NIXL e offre agli sviluppatori un maggiore controllo sulla memoria e sulle comunicazioni nell’addestramento distribuito. Tra le altre novità ci sono kernel di inferenza più veloci per Apple Silicon, CUDA 13.2 come versione predefinita dei pacchetti wheel e il supporto a Python 3.15 in torch.compile.
Perché conta
I team che addestrano modelli su più GPU NVIDIA possono contare su registrazioni diagnostiche in caso di blocchi nelle comunicazioni, anche se le note di rilascio non quantificano quanto possano ridurre i tempi di ripristino.
