# Google ने TPU पर vLLM और SGLang के लिए PyTorch सपोर्ट जोड़ा

> Google ने vLLM और SGLang इनफरेंस इंजन के लिए PyTorch बैकएंड लॉन्च किए हैं। इससे डेवलपर PyTorch के परिचित टूल इस्तेमाल करके इन मॉडलों को TPU हार्डवेयर पर चला सकते हैं।

Oossa · 2026-10-20 · https://oossa.com/hi/google-adds-native-pytorch-support-for-vllm-and-sglang-on-tpu

Google ने नए इनफरेंस इंजन पेश किए हैं, जिनसे ओपन-सोर्स vLLM और SGLang प्रोजेक्ट TorchTPU नाम के नेटिव PyTorch बैकएंड के ज़रिए TPU पर चलते हैं। इन्हें Inferact (vLLM) और RadixArk (SGLang) के साथ मिलकर विकसित किया गया है और ये Meta जैसी कंपनियों में पहले से ही प्रोडक्शन वर्कलोड संभाल रहे हैं। इनमें TPU के लिए खास ऑप्टिमाइज़ेशन शामिल हैं, जैसे कस्टम Pallas kernels और KV-cache प्रबंधन। इनका मकसद PyTorch यूज़र के लिए बड़े पैमाने पर, कम लेटेंसी वाली सर्विंग को आसान बनाना है।

## तथ्य

- vLLM‑TorchTPU, Ironwood TPU पर 2.8 T-पैरामीटर वाले Kimi K3 मॉडल को 700 tokens per second से ज़्यादा की गति से सर्व कर सकता है।
- दोनों इंजन प्रीव्यू ग्राहकों के साथ प्रोडक्शन में चल रहे हैं और बेंचमार्क में प्रति दस लाख tokens की सबसे कम लागत $0.0201 दर्ज की है।

## यह क्यों मायने रखता है

PyTorch डेवलपर अब JAX पर स्विच किए बिना Google के TPU हार्डवेयर पर बड़े लैंग्वेज मॉडल के लिए तेज़ और किफायती इनफरेंस चला सकते हैं।

## स्रोत और संदर्भ

1. [Announcing New vLLM and SGLang Inference Engines on TPU](https://developers.googleblog.com/en/announcing-new-vllm-and-sglang-inference-engines-on-tpu/) – Google for Developers
2. [Google has joined Amazon in attacking Nvidia’s stronghold with AI app developers](https://techcrunch.com/2026/10/20/google-has-joined-amazon-in-attacking-nvidias-stronghold-with-ai-app-developers/) – TechCrunch, 2026-10-20

अंतिम अपडेट: 2026-10-20