Oossa

TorchNeuron 为 AWS Trainium 提供原生 PyTorch 支持

PyTorch 发布开源后端 TorchNeuron,让模型无需修改代码即可在 Trainium 芯片上运行。

简讯作者: Oossa 发布日期: 最后更新: 1 分钟阅读

PyTorch 宣布推出原生后端 TorchNeuron,可让 AWS Trainium 在 PyTorch 中显示为常规设备。借助这个新库,开发者只需使用 .to('neuron'),即可将模型切换到 Trainium;还可通过 torch.compile 提升生产环境中的运行速度。该库支持即时执行、自适应即时模式,以及通过 Neuron Kernel Interface 使用自定义内核。代码将以 Apache 2.0 许可协议开源,公开测试版将于 Oct. 20 推出。

为什么重要

研究人员可以沿用现有 PyTorch 代码,利用 Trainium 的速度优势,无需重写工作流程。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。