2026年11月9日,Google宣布推出两款张量处理单元(TPU)新品。TPU 8tx专为机密推理打造,可在芯片内部保护模型权重和数据。TPU 8i Max则将两颗专注于推理的TPU 8i整合到一个封装中,使内存、算力和带宽翻倍。这两款芯片都属于第八代产品,Google于2024年4月首次推出这一代TPU。
新芯片为何重要
8tx增加了硬件级加密功能,让受监管行业的企业能够在不把敏感数据转移到其他系统的情况下,对模型进行微调或运行模型。Google称,与上一代TPU 8t相比,这款芯片可将训练和推理的延迟降至约一半,同时将性能损失控制在最低程度。8i Max则瞄准了拖慢大规模智能体运行的“内存墙”。通过将两颗8i芯片整合在一起,它在相同的机架占用空间内提供两倍的SRAM、HBM带宽和计算密度,让模型能够处理百万级token的上下文窗口。
更广泛的背景
Google此举紧随Microsoft、Amazon、OpenAI和Anthropic等公司之后,它们也在设计自有AI专用芯片,以减少对Nvidia GPU的依赖。Google表示,其TPU业务目前已服务近100家客户,涵盖研究实验室到零售商;公司还在一年内发布了四种不同的TPU系统,这在其历史上尚属首次。这些芯片通过Google Cloud提供,也可部署在私有数据中心。
为什么重要
对于必须将专有数据保留在本地的企业,8tx内置的安全功能意味着它们现在可以在不向外部服务器暴露数据的情况下微调模型。运行大型语言模型智能体的公司则可借助8i Max,在相同机架空间内获得更多内存和带宽,减少运行变慢的问题。