Google이 8세대 Tensor Processing Unit(TPU) 제품군을 확장했다. TPU 8tx는 이전 TPU 8t와 같은 실리콘을 사용하지만, Arm 기반 호스트를 5세대 AMD EPYC CPU와 Boardfly 네트워크로 바꿨다. 규제가 엄격한 기업과 정부 기관을 위한 하드웨어 격리 추론을 겨냥한 제품이다. TPU 8i Max는 8i 칩 두 개를 하나의 패키지에 담아 연산 성능과 SRAM, HBM 대역폭을 두 배로 높였다. 장문 컨텍스트를 처리하는 에이전트 작업에 적합하다.
왜 중요한가
보안성이 높고 지연 시간이 짧은 AI가 필요한 기업은 맞춤형 하드웨어를 설계하지 않고도 새 TPU 8tx를 도입할 수 있다. 대규모 컨텍스트를 처리하는 에이전트를 개발하는 이들은 같은 공간에서 두 배의 처리 능력을 얻는다.
