Вышел PyTorch версии 2.15. В ней переписанный бэкенд NCCL стал вариантом по умолчанию для задач, использующих NCCL — систему обмена данными для координации работы графических процессоров NVIDIA. Если группа GPU зависает во время обучения, новый регистратор событий может сохранить, чем занимался каждый ранг, и помочь командам выяснить причину сбоя.
В релизе также появилась возможность односторонней передачи данных через бэкенд NIXL, а разработчики получили больше контроля над памятью и обменом данными при распределённом обучении. Среди других обновлений — ускоренные ядра для инференса на Apple Silicon, CUDA 13.2 в качестве версии по умолчанию для wheel-пакетов и поддержка Python 3.15 в torch.compile.
Почему это важно
Команды, обучающие модели на нескольких GPU NVIDIA, получат диагностические записи при зависании обмена данными. Однако в примечаниях к релизу не указано, насколько это сократит время восстановления.
