PyTorch heeft versie 2.15 uitgebracht. De herschreven NCCL-backend is daarin voortaan standaard voor taken die NCCL gebruiken, het communicatiesysteem voor het coördineren van NVIDIA-GPU’s. Als een groep GPU’s tijdens het trainen vastloopt, kan een nieuwe vluchtrecorder vastleggen waar elke rank mee bezig was. Zo kunnen teams de oorzaak onderzoeken.
De release voegt ook eenzijdige gegevensoverdracht via een NIXL-backend toe en geeft ontwikkelaars meer controle over geheugen en communicatie bij distributed training. Andere updates zijn snellere kernels voor inferentie op Apple Silicon, CUDA 13.2 als standaard-wheel en ondersteuning voor Python 3.15 in torch.compile.
Waarom het ertoe doet
Teams die modellen trainen op meerdere NVIDIA-GPU’s krijgen diagnostische gegevens wanneer de communicatie vastloopt. De release notes geven echter niet aan hoeveel sneller dit herstel oplevert.
