据 Tom’s Hardware 报道,Google 在开发者博客中宣布,其定制 AI 芯片——张量处理单元(TPU)——现已在 Meta 的生产环境中运行 AI 工作负载。该方案采用原生支持 PyTorch 的 SGLang 版本。这款软件用于运行 AI 模型并生成回复。Google 还宣布推出原生支持 PyTorch 的 vLLM 版本,这是另一款广泛使用的推理引擎。
这项变化让 Meta 无需像过去那样依赖 Google 的 JAX 框架,也能通过 Meta 开发的 AI 框架 PyTorch 使用 Google 芯片。Google 表示,新版本让开发者基本无需重写软件就能使用 TPU。文章标题还称,Google 首次向外部客户销售 TPU,但所提供的报道没有说明这些客户是谁,也未披露销售详情。
不再局限于 JAX
软件适配至关重要,因为只有开发者能用现有工具调用芯片,芯片才有实际用途。此前,SGLang 和 vLLM 通过 JAX 在 Google TPU 上运行。原生支持 PyTorch 的版本让已经使用 PyTorch 的团队也能选择 TPU,并有望减少将 AI 工作负载迁移到 TPU 硬件所需的工作。
Google 表示,vLLM 版本采用开源形式。报道没有说明 SGLang 版本是否采用相同的许可或访问条款,也没有解释开发者如何获取这两个版本。此外,报道未提供 Meta 使用的 TPU 数量、这些芯片运行的模型,或该方案的性能数据。
用户会感受到哪些变化?
目前确认的变化是,Meta 在其数据中心运行 AI 工作负载时多了一种选择。这或许能为其工程师提供更多硬件选项,但报道没有证据表明 Meta 产品的速度、质量或用户可用性会因此改变。报道也未说明 Meta 的部署是测试性质,还是更大范围的推广;目前只确认该方案已投入生产。
为什么重要
Meta 的 AI 工程师现在可以使用原生支持 PyTorch 的 SGLang 和 vLLM 版本,在 Google TPU 上运行工作负载,而不必让这两款引擎依赖 JAX。这为 Meta 增添了一种硬件选择,但来源并未显示 Meta 产品的用户是否会感受到速度或功能上的变化。