AWS объявила о запуске публичной бета-версии TorchNeuron — бэкенда PyTorch для нативной работы на ИИ-чипах Trainium. Библиотека с открытым исходным кодом позволяет запускать код PyTorch на Trainium, просто добавив .to('neuron'). Она поддерживает стандартные возможности PyTorch, например eager execution и torch.compile. TorchNeuron доступен для инстансов EC2 Trainium2 и Trainium3 в репозитории GitHub.
Почему это важно
Теперь исследователи могут обучать модели PyTorch на высокопроизводительных чипах Trainium от AWS, не переписывая код, что сокращает затраты и трудозатраты.