# Google добавила поддержку PyTorch для vLLM и SGLang на TPU

> Google выпустила бэкенды PyTorch для движков инференса vLLM и SGLang. Теперь разработчики могут запускать эти модели на TPU с помощью привычных инструментов PyTorch.

Oossa · 2026-10-20 · https://oossa.com/ru/google-adds-native-pytorch-support-for-vllm-and-sglang-on-tpu

Google представила новые движки инференса, которые запускают проекты с открытым исходным кодом vLLM и SGLang на TPU с помощью нативного бэкенда PyTorch под названием TorchTPU. Они разработаны совместно с Inferact (vLLM) и RadixArk (SGLang) и уже обслуживают производственные нагрузки в таких компаниях, как Meta. В движки входят оптимизации для TPU, в том числе пользовательские ядра Pallas и управление KV-кэшем. Их цель — упростить пользователям PyTorch обслуживание моделей в крупных масштабах с низкой задержкой.

## Факты

- vLLM‑TorchTPU может обслуживать модель Kimi K3 с 2.8 T параметров со скоростью более 700 токенов в секунду на TPU Ironwood.
- Оба движка работают в производственной среде у клиентов, получивших предварительный доступ, а по результатам тестов обеспечили самую низкую стоимость за миллион токенов — $0.0201.

## Почему это важно

Разработчики на PyTorch теперь могут запускать быстрый и экономичный инференс больших языковых моделей на TPU от Google, не переходя на JAX.

## Источники и ссылки

1. [Announcing New vLLM and SGLang Inference Engines on TPU](https://developers.googleblog.com/en/announcing-new-vllm-and-sglang-inference-engines-on-tpu/) – Google for Developers
2. [Google has joined Amazon in attacking Nvidia’s stronghold with AI app developers](https://techcrunch.com/2026/10/20/google-has-joined-amazon-in-attacking-nvidias-stronghold-with-ai-app-developers/) – TechCrunch, 2026-10-20

Обновлено: 2026-10-20