Oossa

Google一年内新增两款TPU,产品线扩至四款

Google推出面向机密计算的TPU 8tx和针对内存密集型任务的TPU 8i Max,进一步扩充第八代加速器产品线。

作者: Oossa 发布日期: 2 分钟阅读

Marc PEZIN · Unsplash

Google本周发布了两套新的AI加速器系统。TPU 8tx面向企业和政府机构,可确保数据在处理过程中仍处于加密状态。TPU 8i Max则将两颗第八代TPU 8i芯片封装在一起,在同一机架内将算力、内存和带宽翻倍。两款产品都采用与Google现有第八代TPU相同的底层硅芯片,但在封装、网络和内存配置上有所不同。Google表示,模块化设计让它能在数月而非数年内推出新硬件。

TPU 8tx填补了一项安全空白:即使数据和模型权重正在使用,也会始终保持加密。Google将其与Nvidia GPU的机密计算功能相提并论。该系统运行在Google的低延迟Boardfly网络上,声称与上一代TPU 8t相比,延迟最多可降低一倍。Google表示,单套8tx系统就能微调模型、蒸馏大型模型并训练强化学习智能体,无需在集群之间传输敏感数据。

TPU 8i Max针对的是AI智能体处理大型代码库或数小时视频时遇到的内存瓶颈。新系统将两颗TPU 8i芯片组合在一起,使内存容量和带宽翻倍,并在相同机架占用空间内提供约两倍的算力。Google表示,这意味着数据中心每平方米空间可以获得更高性能。

除了硬件,Google也在降低TPU的使用门槛。该公司将TorchTPU开源,让PyTorch代码只需少量改动就能在TPU上运行,并加入了对vLLM和SGLang等热门推理框架的支持。目前,Google表示已有近100家外部客户在使用其TPU,这标志着公司已从早期仅供内部使用的策略转变。

新款TPU为何重要

处理机密数据的企业现在可以在不解密信息的情况下运行AI工作负载,从而降低数据泄露风险。处理视频分析或代码库搜索等大规模推理任务的开发者,则能在不扩大数据中心占地面积的情况下,获得更多内存和更快速度。

为什么重要

需要保护敏感数据的企业可以在不暴露原始信息的情况下运行AI模型,降低安全防护负担。执行大型推理任务的团队则能在每个机架上获得更高性能,从而减少硬件成本和空间需求。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。