Google과 Meta는 San Jose에서 열린 PyTorch Conference North America 2026에서 TorchTPU를 발표했다. 새 백엔드를 사용하면 PyTorch 코드에서 장치를 바꾸는 한 줄만 수정해 Google의 Tensor Processing Unit(TPU)에서 실행할 수 있다. CPU와 GPU를 전환하는 방식과 비슷하다. 프로젝트는 완전히 오픈소스로 공개됐으며, 현재 GitHub에서 이용할 수 있다.
TorchTPU는 코드 변경이 많고 컴파일 시간이 길었던 기존 PyTorch/XLA 브리지를 대체한다. PyTorch의 저수준 디스패처에 직접 통합돼 Hugging Face 모델, vLLM 및 SGLang 추론 엔진, TorchTitan 학습 스택에서 별도 설정 없이 작동한다. 이번에 공개된 저장소는 TorchTPU, vLLM‑TorchTPU, SGLang‑TorchTPU, TorchTitan 등 4개다.
Google은 최대 8,192개의 TPU v7x 칩까지 거의 선형적으로 확장되는 성능을 선보였다. 시연한 벤치마크에서는 2,350억 개 매개변수를 가진 Qwen‑3 혼합 전문가 모델이 칩의 FLOPs 용량 중 28 %를 사용했다. 회사는 성능 튜닝을 자동화할 수 있는 TPU 에이전트 제품군도 미리 공개했다. 다만 간단한 장치 변경은 출발점일 뿐이며, 최고 속도를 내려면 텐서 모양과 샤딩을 추가로 조정해야 한다고 설명했다.
지금 TorchTPU가 중요한 이유
이제 데이터센터 컴퓨팅의 대부분을 추론 작업이 차지하고 있으며, 많은 대규모 언어 모델 서비스가 더 저렴하고 빠른 하드웨어를 찾고 있다. TPU는 높은 처리량과 낮은 에너지 사용량으로 알려져 있지만, 지금까지는 PyTorch에서 사용하기가 어려웠다. TorchTPU는 그 장벽을 낮춰 개발자가 코드베이스 하나를 유지하면서 클라우드의 TPU 클러스터를 시험해 볼 수 있게 한다.
Meta 엔지니어링팀은 “성능, 신뢰성, 유지관리성”이 필요하다며 대규모 LLM 학습을 TPU로 옮길 계획이라고 밝혔다. 오픈소스이므로 다른 클라우드 제공업체도 같은 백엔드를 도입할 수 있어, 이미 PyTorch를 사용하는 팀의 특정 업체 종속성을 줄일 수 있다.
왜 중요한가
데이터 과학팀은 TorchTPU를 통해 코드를 다시 작성하지 않고도 TPU 가속을 시험해 볼 수 있으며, 대규모 모델의 클라우드 비용을 낮출 가능성도 있다. 다만 최적의 속도를 내려면 모델의 텐서 모양과 샤딩을 조정해야 하므로, 성능 개선에 필요한 엔지니어링 시간을 예산에 반영해야 한다.
