PyTorch ist in Version 2.15 erschienen. Für Jobs, die NCCL verwenden – das Kommunikationssystem zur Koordination von NVIDIA-GPUs –, ist nun das überarbeitete NCCL-Backend standardmäßig aktiviert. Wenn eine Gruppe von GPUs während des Trainings hängt, kann ein neuer Flight Recorder festhalten, womit jeder Rank gerade beschäftigt war. Das hilft Teams, den Fehler zu untersuchen.
Das Release ermöglicht über ein NIXL-Backend außerdem einseitige Datenübertragungen und gibt Entwicklern mehr Kontrolle über Speicher und Kommunikation beim verteilten Training. Weitere Neuerungen sind schnellere Inferenz-Kernels für Apple Silicon, CUDA 13.2 als Standard für Wheels und die Unterstützung von Python 3.15 in torch.compile.
Warum es wichtig ist
Teams, die Modelle über NVIDIA-GPUs hinweg trainieren, erhalten Diagnoseaufzeichnungen, wenn die Kommunikation hängt. Die Release Notes beziffern jedoch nicht, wie stark sich dadurch die Wiederherstellungszeit verkürzt.
