Oossa

Google TPU 芯片已用于 Meta 生产环境中的 AI 系统

Meta 通过两款原生支持 PyTorch 的推理引擎,在 Google 定制芯片上运行 AI 工作负载。但公告没有披露部署规模或可用情况。

作者: Oossa 发布日期: 2 分钟阅读

Oossa 插图

据 Tom’s Hardware 报道,Google 在开发者博客中宣布,其定制 AI 芯片——张量处理单元(TPU)——现已在 Meta 的生产环境中运行 AI 工作负载。该方案采用原生支持 PyTorch 的 SGLang 版本。这款软件用于运行 AI 模型并生成回复。Google 还宣布推出原生支持 PyTorch 的 vLLM 版本,这是另一款广泛使用的推理引擎。

这项变化让 Meta 无需像过去那样依赖 Google 的 JAX 框架,也能通过 Meta 开发的 AI 框架 PyTorch 使用 Google 芯片。Google 表示,新版本让开发者基本无需重写软件就能使用 TPU。文章标题还称,Google 首次向外部客户销售 TPU,但所提供的报道没有说明这些客户是谁,也未披露销售详情。

不再局限于 JAX

软件适配至关重要,因为只有开发者能用现有工具调用芯片,芯片才有实际用途。此前,SGLang 和 vLLM 通过 JAX 在 Google TPU 上运行。原生支持 PyTorch 的版本让已经使用 PyTorch 的团队也能选择 TPU,并有望减少将 AI 工作负载迁移到 TPU 硬件所需的工作。

Google 表示,vLLM 版本采用开源形式。报道没有说明 SGLang 版本是否采用相同的许可或访问条款,也没有解释开发者如何获取这两个版本。此外,报道未提供 Meta 使用的 TPU 数量、这些芯片运行的模型,或该方案的性能数据。

用户会感受到哪些变化?

目前确认的变化是,Meta 在其数据中心运行 AI 工作负载时多了一种选择。这或许能为其工程师提供更多硬件选项,但报道没有证据表明 Meta 产品的速度、质量或用户可用性会因此改变。报道也未说明 Meta 的部署是测试性质,还是更大范围的推广;目前只确认该方案已投入生产。

为什么重要

Meta 的 AI 工程师现在可以使用原生支持 PyTorch 的 SGLang 和 vLLM 版本,在 Google TPU 上运行工作负载,而不必让这两款引擎依赖 JAX。这为 Meta 增添了一种硬件选择,但来源并未显示 Meta 产品的用户是否会感受到速度或功能上的变化。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。