Google и Meta представили TorchTPU на конференции PyTorch Conference North America 2026 в Сан-Хосе. Новый бэкенд позволяет запускать код PyTorch на тензорных процессорах Google, изменив всего одну строку с указанием устройства, — так же, как разработчики уже переключаются между CPU и GPU. Проект полностью открыт и уже доступен на GitHub.
TorchTPU приходит на смену прежнему связующему слою PyTorch/XLA, для которого требовались серьёзные изменения кода, а компиляция занимала много времени. Благодаря прямой интеграции с низкоуровневым диспетчером PyTorch TorchTPU сразу работает с моделями Hugging Face, движками инференса vLLM и SGLang, а также стеком обучения TorchTitan. В релиз вошли четыре репозитория: TorchTPU, vLLM-TorchTPU, SGLang-TorchTPU и TorchTitan.
Google продемонстрировала почти линейное масштабирование вплоть до 8,192 чипов TPU v7x. В тесте модель Qwen-3 с 235 миллиардами параметров и архитектурой mixture-of-experts использовала 28 % вычислительной мощности чипов по FLOPs. Компания также представила предварительную версию набора TPU-агентов для автоматической оптимизации производительности. При этом Google отмечает, что простой замены устройства недостаточно для максимальной скорости: потребуется дополнительно настраивать формы тензоров и шардирование.
Почему TorchTPU появился именно сейчас
Сейчас на инференс приходится большая часть вычислительных нагрузок дата-центров, а многие сервисы на базе больших языковых моделей ищут более дешёвое и быстрое оборудование. TPU известны высокой пропускной способностью и низким энергопотреблением, но до сих пор их было сложно использовать с PyTorch. TorchTPU снижает этот барьер: разработчики могут сохранить единую кодовую базу и экспериментировать с кластерами TPU в облаке.
Инженерная команда Meta заявила, что планирует перенести на TPU обучение больших языковых моделей в более крупных масштабах, сославшись на необходимость обеспечить «производительность, надёжность и удобство сопровождения». Открытый исходный код также позволит другим облачным провайдерам использовать этот бэкенд, снижая зависимость от одного поставщика для команд, уже работающих с PyTorch.
Почему это важно
Команды, работающие с данными, смогут попробовать ускорение на TPU без переписывания кода — это может снизить расходы на облачные вычисления при работе с крупными моделями. Однако для достижения максимальной скорости всё равно потребуется настраивать формы тензоров и шардирование, поэтому в бюджет стоит заложить время инженеров на оптимизацию производительности.
