구글 클라우드가 8세대 텐서처리장치(TPU) 시스템 두 종을 추가했다. TPU 8tx는 민감한 데이터를 다루는 기업과 정부기관을 위한 시스템이고, TPU 8i Max는 대규모 문서·코드·영상 정보를 한꺼번에 처리하는 작업을 겨냥한다. 구글은 11월 9일(현지시간) 두 시스템을 발표했다고 ITmedia가 전했다.
두 제품은 지난 4월 공개된 대규모 모델 학습용 TPU 8t와 실시간 추론용 TPU 8i를 바탕으로 구성됐다. 구글 클라우드에 따르면 이번 추가로 8세대 TPU는 네 가지 시스템으로 늘었다. 한 해에 같은 세대의 TPU 시스템 네 종을 공개한 것은 처음이라고 구글은 밝혔다. TPU는 구글이 AI 연산을 위해 설계한 가속기다. 구글은 자사 Gemini 모델에 활용하는 한편, 외부 고객에게도 클라우드와 고객 데이터센터를 통해 제공하고 있다.
8tx는 연산 중 데이터 보호에 초점
데이터는 저장하거나 네트워크로 보낼 때 암호화할 수 있지만, 컴퓨터가 실제로 처리하는 동안에는 연산을 위해 잠시 해제해야 한다. TPU 8tx는 이 과정의 보호를 강화하도록 설계됐다. TPU 8t와 같은 칩에 5세대 AMD EPYC CPU 호스트를 결합하고, 하드웨어 차원에서 민감한 데이터와 모델 가중치를 보호·격리한다는 설명이다. 구글은 금융·의료 정보나 기업의 내부 자료를 활용하는 추론과 모델 미세조정을 주요 용도로 들었다.
TPU 8tx에는 실시간 추론에 쓰이는 저지연 네트워크 Boardfly도 적용됐다. 구글은 TPU 8t와 비교해 지연 시간을 최대 절반으로 줄이고 성능 저하는 거의 없도록 설계했다고 밝혔다. 한 시스템에서 자체 데이터로 모델을 미세조정하거나, 큰 모델의 지식을 작은 모델로 옮기는 증류, 강화학습을 통한 에이전트 학습도 할 수 있다고 설명했다. 이 수치와 기능 설명은 구글이 공개한 내용이며, 독립적인 검증 결과는 제공된 자료에 없다.
8i Max는 메모리 병목을 줄이려 한다
TPU 8i Max는 TPU 8i 칩 두 개를 하나의 패키지에 결합했다. 구글에 따르면 기존 TPU 8i보다 연산 성능, SRAM 용량, 고대역폭메모리(HBM) 대역폭이 각각 두 배다. 여러 AI 에이전트가 큰 소프트웨어 코드베이스를 살펴보거나 수 시간 분량의 영상을 분석할 때, 프로세서에 데이터를 공급하는 메모리가 처리 속도의 한계가 될 수 있다는 게 구글의 설명이다. 구글은 이 시스템으로 100만 토큰 규모의 컨텍스트를 다루는 작업을 지원하려 한다.
구글은 기존 랙 공간에 두 배의 칩을 넣을 수 있도록 설계해 랙 면적과 전력당 연산량도 높이는 방향을 제시했다. 한편 소프트웨어 접근성도 함께 강조했다. ITmedia에 따르면 구글은 PyTorch 코드와 Hugging Face 모델을 큰 수정 없이 TPU에서 실행하도록 돕는 오픈소스 TorchTPU와, 데이터 전송 지연을 90% 이상 줄인다는 TPU Sync 등을 발표했다. 다만 새 TPU 시스템의 구체적인 제공 시작일과 가격은 공개되지 않았다.
왜 중요한가
민감한 고객 자료를 AI에 쓰려는 금융·의료 기업이나 정부기관은 TPU 8tx의 연산 중 데이터 보호 설계를 검토할 수 있다. 긴 코드나 영상 자료를 다루는 AI 서비스 개발팀에는 TPU 8i Max의 메모리 확대가 관련 있지만, 실제 이용 가능 시점과 비용은 아직 확인할 수 없다.
