Oossa

PyTorch 2.15 将重写后的 NCCL 后端设为默认

此版本新增分布式训练挂起诊断功能,并更新了对 Apple、AMD、Intel 和 NVIDIA 硬件的支持。

简讯作者: Oossa 发布日期: 1 分钟阅读

PyTorch 已发布 2.15 版,并将重写后的 NCCL 后端设为使用 NCCL 的任务的默认后端。NCCL 是用于协调 NVIDIA GPU 的通信系统。如果一组 GPU 在训练期间挂起,新增的飞行记录器可以保存各个 rank 当时的操作,帮助团队排查故障。

此版本还通过 NIXL 后端支持单边数据传输,并让开发者能更灵活地管理分布式训练中的内存和通信。其他更新包括提升 Apple Silicon 推理速度的内核、将 CUDA 13.2 设为默认 wheel,以及在 torch.compile 中支持 Python 3.15。

为什么重要

在 NVIDIA GPU 上训练模型的团队,现在可以在通信挂起时获取诊断记录;不过,发行说明没有量化这能缩短多少故障恢复时间。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。