Google本周发布了两套新的AI加速器系统。TPU 8tx面向企业和政府机构,可确保数据在处理过程中仍处于加密状态。TPU 8i Max则将两颗第八代TPU 8i芯片封装在一起,在同一机架内将算力、内存和带宽翻倍。两款产品都采用与Google现有第八代TPU相同的底层硅芯片,但在封装、网络和内存配置上有所不同。Google表示,模块化设计让它能在数月而非数年内推出新硬件。
TPU 8tx填补了一项安全空白:即使数据和模型权重正在使用,也会始终保持加密。Google将其与Nvidia GPU的机密计算功能相提并论。该系统运行在Google的低延迟Boardfly网络上,声称与上一代TPU 8t相比,延迟最多可降低一倍。Google表示,单套8tx系统就能微调模型、蒸馏大型模型并训练强化学习智能体,无需在集群之间传输敏感数据。
TPU 8i Max针对的是AI智能体处理大型代码库或数小时视频时遇到的内存瓶颈。新系统将两颗TPU 8i芯片组合在一起,使内存容量和带宽翻倍,并在相同机架占用空间内提供约两倍的算力。Google表示,这意味着数据中心每平方米空间可以获得更高性能。
除了硬件,Google也在降低TPU的使用门槛。该公司将TorchTPU开源,让PyTorch代码只需少量改动就能在TPU上运行,并加入了对vLLM和SGLang等热门推理框架的支持。目前,Google表示已有近100家外部客户在使用其TPU,这标志着公司已从早期仅供内部使用的策略转变。
新款TPU为何重要
处理机密数据的企业现在可以在不解密信息的情况下运行AI工作负载,从而降低数据泄露风险。处理视频分析或代码库搜索等大规模推理任务的开发者,则能在不扩大数据中心占地面积的情况下,获得更多内存和更快速度。
为什么重要
需要保护敏感数据的企业可以在不暴露原始信息的情况下运行AI模型,降低安全防护负担。执行大型推理任务的团队则能在每个机架上获得更高性能,从而减少硬件成本和空间需求。