# Google为vLLM和SGLang新增原生PyTorch TPU支持

> Google推出适用于vLLM和SGLang推理引擎的PyTorch后端，让开发者能用熟悉的PyTorch工具在TPU硬件上运行模型。

Oossa · 2026-10-20 · https://oossa.com/zh/google-adds-native-pytorch-support-for-vllm-and-sglang-on-tpu

Google宣布推出新的推理引擎，通过名为TorchTPU的原生PyTorch后端，让开源项目vLLM和SGLang能够在TPU上运行。这些引擎由Google与Inferact（vLLM）和RadixArk（SGLang）共同开发，目前已在Meta等公司的生产环境中提供服务。它们针对TPU进行了优化，包括自定义Pallas内核和KV缓存管理，旨在让PyTorch用户更轻松地实现大规模、低延迟推理服务。

## 事实

- vLLM‑TorchTPU可在Ironwood TPU上以每秒超过700个token的速度提供参数量为2.8 T的Kimi K3模型服务。
- 两款引擎已在预览客户的生产环境中运行，基准测试显示其每百万个token的成本最低，为$0.0201。

## 为什么重要

PyTorch开发者如今无需切换到JAX，就能在Google的TPU硬件上为大型语言模型部署快速、经济高效的推理服务。

## 来源与参考

1. [Announcing New vLLM and SGLang Inference Engines on TPU](https://developers.googleblog.com/en/announcing-new-vllm-and-sglang-inference-engines-on-tpu/) – Google for Developers
2. [Google has joined Amazon in attacking Nvidia’s stronghold with AI app developers](https://techcrunch.com/2026/10/20/google-has-joined-amazon-in-attacking-nvidias-stronghold-with-ai-app-developers/) – TechCrunch, 2026-10-20

最后更新: 2026-10-20