PyTorch 宣布推出原生后端 TorchNeuron,可让 AWS Trainium 在 PyTorch 中显示为常规设备。借助这个新库,开发者只需使用 .to('neuron'),即可将模型切换到 Trainium;还可通过 torch.compile 提升生产环境中的运行速度。该库支持即时执行、自适应即时模式,以及通过 Neuron Kernel Interface 使用自定义内核。代码将以 Apache 2.0 许可协议开源,公开测试版将于 Oct. 20 推出。
为什么重要
研究人员可以沿用现有 PyTorch 代码,利用 Trainium 的速度优势,无需重写工作流程。