Google与Meta推出TorchTPU，让PyTorch原生运行于TPU

Google和Meta在圣何塞举行的2026年北美PyTorch大会上发布了TorchTPU。这个新后端只需改动一行设备设置，就能让PyTorch代码运行在Google的张量处理器（TPU）上，类似于开发者在CPU和GPU之间切换的方式。该项目完全开源，现已在GitHub上线。

TorchTPU取代了较早的PyTorch/XLA桥接方案。后者需要对代码进行较大改动，编译时间也很长。TorchTPU直接集成到PyTorch底层调度器中，可开箱即用地兼容Hugging Face模型、vLLM和SGLang推理引擎，以及TorchTitan训练框架。此次发布包含四个代码仓库：TorchTPU、vLLM‑TorchTPU、SGLang‑TorchTPU和TorchTitan。

Google展示了将任务扩展到8,192颗TPU v7x芯片时近乎线性的扩展能力。在其基准测试中，一个拥有2350亿参数的Qwen‑3混合专家模型使用了芯片28 %的浮点运算（FLOPs）能力。Google还预览了一套可自动进行性能调优的TPU智能体工具，但公司指出，只改动设备设置只是第一步；要达到最高速度，还需进一步调整张量形状和分片方式。

TorchTPU为何正当其时

如今，推理任务已占据数据中心的大部分算力，许多大型语言模型服务都在寻找更便宜、更快的硬件。TPU以高吞吐量和较低能耗著称，但此前很难通过PyTorch使用。TorchTPU降低了这一门槛，让开发者可以保留同一套代码，同时在云端尝试TPU集群。

Meta工程团队表示，他们计划将更大规模的LLM训练转移到TPU上，理由是需要“性能、可靠性和可维护性”。由于该项目开源，其他云服务商也可以采用同一后端，降低已经使用PyTorch的团队被供应商锁定的风险。