Google kondigde deze week twee nieuwe AI-acceleratorsystemen aan. De TPU 8tx is bedoeld voor bedrijven en overheidsinstanties die gegevens versleuteld willen houden terwijl ze worden verwerkt. De TPU 8i Max combineert twee TPU 8i-chips van de achtste generatie in één behuizing, zodat de rekenkracht, het geheugen en de bandbreedte in hetzelfde rack verdubbelen. Beide varianten gebruiken hetzelfde onderliggende silicium als de bestaande TPU’s van Google van de achtste generatie, maar verschillen in behuizing, netwerk en geheugenconfiguratie. Volgens Google kan het dankzij deze modulaire aanpak nieuwe hardware in maanden in plaats van jaren leveren.
De TPU 8tx dicht een beveiligingslek: gegevens en modelgewichten blijven zelfs tijdens actief gebruik versleuteld. Google vergelijkt de functie met de mogelijkheden voor vertrouwelijke gegevensverwerking van Nvidia-GPU’s. Het systeem draait op Googles Boardfly-netwerk met lage latentie en belooft tot twee keer zoveel latentiereductie als de oudere TPU 8t. Volgens Google kan één 8tx-systeem modellen verfijnen, grote modellen distilleren en reinforcement-learningagents trainen zonder gevoelige gegevens tussen clusters te verplaatsen.
De TPU 8i Max is bedoeld om het geheugentekort aan te pakken dat ontstaat wanneer AI-agents grote codebases of uren aan video verwerken. Door twee TPU 8i-chips samen te brengen, verdubbelt het nieuwe systeem de geheugencapaciteit en bandbreedte. Ook levert het ongeveer twee keer zoveel rekenkracht binnen dezelfde rackruimte. Volgens Google betekent dit meer prestaties per vierkante meter datacenterruimte.
Naast de hardware maakt Google het gebruik van TPU’s toegankelijker. Het bedrijf heeft TorchTPU uitgebracht als opensourcesoftware, zodat PyTorch-code met minimale aanpassingen op TPU’s kan draaien. Ook is ondersteuning toegevoegd voor populaire inferentieframeworks zoals vLLM en SGLang. Google telt inmiddels bijna 100 externe klanten die zijn TPU’s gebruiken; dat is een koerswijziging ten opzichte van de eerdere strategie waarbij ze alleen intern werden gebruikt.
Waarom de nieuwe TPU’s ertoe doen
Bedrijven die met vertrouwelijke gegevens werken, kunnen AI-taken nu uitvoeren zonder informatie te ontsleutelen, waardoor het risico op datalekken afneemt. Ontwikkelaars die werken aan inferentietaken op grote schaal, zoals videoanalyse of het doorzoeken van codebases, krijgen meer geheugen en snelheid zonder hun datacenterruimte uit te breiden.
Waarom het ertoe doet
Bedrijven die gevoelige gegevens moeten beschermen, kunnen AI-modellen uitvoeren zonder ruwe informatie bloot te stellen, waardoor de beveiligingslast afneemt. Teams die grote inferentietaken uitvoeren, krijgen meer prestaties per rack, wat de kosten voor hardware en de benodigde ruimte kan verlagen.
