Google presenterade två nya AI-acceleratorsystem den här veckan. TPU 8tx är utvecklad för företag och myndigheter som behöver hålla data krypterade medan den behandlas. TPU 8i Max sammanför två åttonde generationens TPU 8i-chip i samma paket för att fördubbla beräkningskapaciteten, minnet och bandbredden inom samma rack. Båda varianterna bygger på samma kisel som Googles befintliga TPU:er i åttonde generationen, men har olika paketering samt konfigurationer för nätverk och minne. Google säger att den modulära lösningen gör att företaget kan leverera ny hårdvara på månader i stället för år.
TPU 8tx täpper till en säkerhetslucka: data och modellvikter förblir krypterade även när de används aktivt. Google jämför systemet med Nvidias funktioner för konfidentiell databehandling på GPU:er. Systemet använder Googles nätverk Boardfly med låg latens och uppges minska latensen upp till dubbelt så mycket som den äldre TPU 8t. Google säger att ett enda 8tx-system kan finjustera modeller, destillera stora modeller och träna förstärkningsinlärningsagenter utan att känsliga data flyttas mellan kluster.
TPU 8i Max är tänkt att lösa minnesflaskhalsar som uppstår när AI-agenter hanterar stora kodbaser eller flera timmars video. Genom att placera två TPU 8i-chip tillsammans fördubblar det nya systemet minneskapaciteten och bandbredden, samtidigt som det ger ungefär dubbelt så stor beräkningskapacitet inom samma rackutrymme. Google säger att det innebär högre prestanda per kvadratmeter i datacentret.
Google gör det också enklare att börja använda TPU:er. Företaget har släppt TorchTPU som öppen källkod, så att PyTorch-kod kan köras på TPU:er med minimala ändringar. Det har också lagt till stöd för populära inferensramverk som vLLM och SGLang. Google uppger nu att nära 100 externa kunder använder företagets TPU:er – en förändring jämfört med den tidigare strategin att bara använda dem internt.
Därför spelar de nya TPU:erna roll
Företag som hanterar konfidentiella data kan nu köra AI-arbetsbelastningar utan att dekryptera informationen, vilket minskar risken för läckor. Utvecklare som arbetar med storskalig inferens, till exempel videoanalys eller sökning i kodbaser, får mer minne och högre hastighet utan att behöva utöka datacentrets kapacitet.
Varför det spelar roll
Företag som behöver skydda känsliga data kan köra AI-modeller utan att exponera information i klartext, vilket minskar säkerhetsarbetet. Team som kör stora inferensjobb får högre prestanda per rack, vilket kan sänka kostnaderna för hårdvara och minska utrymmesbehovet.
