Google heeft zijn Tensor Processing Unit (TPU)-lijn van de achtste generatie uitgebreid. De TPU 8tx gebruikt dezelfde chip als de eerdere TPU 8t, maar vervangt de Arm-host door een AMD EPYC CPU van de 5e generatie en een Boardfly-netwerk. De chip is bedoeld voor inferentie in hardware-isolatie bij gereguleerde bedrijven en overheden. De TPU 8i Max bevat twee 8i-chips in één package en verdubbelt daarmee de rekenkracht, SRAM en HBM-bandbreedte voor agenten die met lange contexten werken.
Waarom het ertoe doet
Bedrijven die behoefte hebben aan veilige AI met lage latentie kunnen de nieuwe TPU 8tx inzetten zonder zelf hardware te ontwerpen. Ontwikkelaars van agenten die met grote contexten werken, krijgen bovendien twee keer zoveel rekenkracht in dezelfde ruimte.
