Google宣布推出新的推理引擎，通过名为TorchTPU的原生PyTorch后端，让开源项目vLLM和SGLang能够在TPU上运行。这些引擎由Google与Inferact（vLLM）和RadixArk（SGLang）共同开发，目前已在Meta等公司的生产环境中提供服务。它们针对TPU进行了优化，包括自定义Pallas内核和KV缓存管理，旨在让PyTorch用户更轻松地实现大规模、低延迟推理服务。
为什么重要
PyTorch开发者如今无需切换到JAX，就能在Google的TPU硬件上为大型语言模型部署快速、经济高效的推理服务。
