PyTorch가 버전 2.15를 출시하며 NCCL을 사용하는 작업에서 재작성한 NCCL 백엔드를 기본값으로 적용했다. NCCL은 NVIDIA GPU 간 작업을 조율하는 통신 시스템이다. 학습 중 GPU 여러 대가 멈추면 새 플라이트 레코더가 각 rank의 작업 내역을 저장해 팀이 문제를 조사하는 데 도움을 준다.
이번 릴리스에는 NIXL 백엔드를 통한 단방향 데이터 전송 기능이 추가됐고, 개발자는 분산 학습에서 메모리와 통신을 더 세밀하게 제어할 수 있게 됐다. 그 밖에 Apple Silicon 추론 커널 속도 향상, 기본 휠의 CUDA 13.2 적용, torch.compile의 Python 3.15 지원 등이 포함됐다.
왜 중요한가
NVIDIA GPU 여러 대로 모델을 학습하는 팀은 통신이 멈췄을 때 진단 기록을 확보할 수 있다. 다만 릴리스 노트에는 이 기능이 복구 시간을 얼마나 줄일지 수치로 제시되지 않았다.
