# Google, TPU에서 vLLM·SGLang용 PyTorch 지원

> Google이 추론 엔진 vLLM과 SGLang에 PyTorch 백엔드를 도입해, 개발자가 익숙한 PyTorch 도구로 TPU 하드웨어에서 모델을 실행할 수 있게 됐다.

Oossa · 2026-10-20 · https://oossa.com/ko/google-adds-native-pytorch-support-for-vllm-and-sglang-on-tpu

Google은 TorchTPU라는 네이티브 PyTorch 백엔드를 사용해 오픈소스 프로젝트 vLLM과 SGLang을 TPU에서 실행하는 새로운 추론 엔진을 발표했다. 이 엔진은 Inferact(vLLM), RadixArk(SGLang)와 공동 개발했으며, 이미 Meta 같은 기업의 프로덕션 워크로드를 처리하고 있다. 맞춤형 Pallas 커널과 KV 캐시 관리 등 TPU에 특화된 최적화를 적용해, PyTorch 사용자도 대규모·저지연 추론 서비스를 더 쉽게 운영하도록 하는 것이 목표다.

## 팩트

- vLLM‑TorchTPU는 Ironwood TPU에서 2.8 T 매개변수 Kimi K3 모델을 초당 700토큰 이상 처리할 수 있다.
- 두 엔진은 프리뷰 고객을 대상으로 프로덕션에서 운영 중이며, 벤치마크에서 토큰 100만 개당 최저 비용인 $0.0201을 기록했다.

## 왜 중요한가

PyTorch 개발자는 이제 JAX로 전환하지 않고도 Google TPU 하드웨어에서 대규모 언어 모델의 빠르고 비용 효율적인 추론을 배포할 수 있다.

## 출처 및 참고 자료

1. [Announcing New vLLM and SGLang Inference Engines on TPU](https://developers.googleblog.com/en/announcing-new-vllm-and-sglang-inference-engines-on-tpu/) – Google for Developers
2. [Google has joined Amazon in attacking Nvidia’s stronghold with AI app developers](https://techcrunch.com/2026/10/20/google-has-joined-amazon-in-attacking-nvidias-stronghold-with-ai-app-developers/) – TechCrunch, 2026-10-20

최종 업데이트: 2026-10-20