PyTorch가 AWS Trainium을 일반적인 PyTorch 디바이스처럼 사용할 수 있게 해주는 네이티브 백엔드 TorchNeuron을 발표했다. 새 라이브러리를 사용하면 .to('neuron')만으로 모델을 Trainium으로 전환할 수 있으며, torch.compile을 활용해 프로덕션 환경에 필요한 성능을 낼 수 있다. 이 라이브러리는 즉시 실행(eager execution), 적응형 즉시 실행(adaptive eager mode), Neuron Kernel Interface를 통한 사용자 지정 커널을 지원한다. 코드는 Apache 2.0 라이선스로 오픈소스로 공개되며, 공개 베타는 10월 20일 시작된다.
왜 중요한가
연구자들은 작업 흐름을 다시 작성하지 않고도 기존 PyTorch 코드로 Trainium의 성능을 활용할 수 있다.