Oossa

TorchNeuron добавляет нативную поддержку PyTorch для AWS Trainium

PyTorch выпустила TorchNeuron — бэкенд с открытым исходным кодом, который позволяет запускать модели на чипах Trainium без изменения кода.

ЗаметкаАвтор: Опубликовано Oossa: Обновлено: 1 мин чтения

PyTorch объявила о выпуске TorchNeuron — нативного бэкенда, благодаря которому AWS Trainium распознаётся как обычное устройство PyTorch. Новая библиотека позволяет разработчикам переключать модель на Trainium одной командой .to('neuron') и использовать torch.compile для ускорения в production. Поддерживаются eager execution, адаптивный eager mode и пользовательские ядра через Neuron Kernel Interface. Исходный код будет опубликован по лицензии Apache 2.0, а публичная бета стартует 20 октября.

Почему это важно

Исследователи смогут использовать тот же код PyTorch, чтобы воспользоваться высокой производительностью Trainium, не перестраивая рабочие процессы.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.