# Google, vLLM ve SGLang için TPU’da yerel PyTorch desteği sundu

> Google, vLLM ve SGLang çıkarım motorları için PyTorch arka uçlarını kullanıma sunuyor. Böylece geliştiriciler, bu motorları alışık oldukları PyTorch araçlarıyla TPU donanımında çalıştırabiliyor.

Oossa · 2026-10-20 · https://oossa.com/tr/google-adds-native-pytorch-support-for-vllm-and-sglang-on-tpu

Google, açık kaynaklı vLLM ve SGLang projelerini TorchTPU adlı yerel bir PyTorch arka ucuyla TPU’larda çalıştıran yeni çıkarım motorlarını duyurdu. Motorlar, Inferact (vLLM) ve RadixArk (SGLang) ile birlikte geliştirildi ve Meta gibi şirketlerde üretim iş yüklerine hizmet veriyor. Pallas ile özel çekirdekler ve KV önbellek yönetimi gibi TPU’ya özgü iyileştirmeler içeren motorlar, PyTorch kullanıcılarının büyük ölçekte düşük gecikmeli hizmet sunmasını kolaylaştırmayı amaçlıyor.

## Gerçekler

- vLLM‑TorchTPU, Ironwood TPU üzerinde 2.8 T parametreli Kimi K3 modelini saniyede 700’ün üzerinde token hızında sunabiliyor.
- Her iki motor da ön izleme müşterilerinde üretimde çalışıyor ve milyon token başına 0,0201 dolarla en düşük maliyeti gösteren kıyaslama sonuçlarına ulaştı.

## Neden önemli

PyTorch geliştiricileri artık JAX’e geçmeden Google’ın TPU donanımında büyük dil modelleri için hızlı ve uygun maliyetli çıkarım hizmeti sunabiliyor.

## Kaynaklar ve referanslar

1. [Announcing New vLLM and SGLang Inference Engines on TPU](https://developers.googleblog.com/en/announcing-new-vllm-and-sglang-inference-engines-on-tpu/) – Google for Developers
2. [Google has joined Amazon in attacking Nvidia’s stronghold with AI app developers](https://techcrunch.com/2026/10/20/google-has-joined-amazon-in-attacking-nvidias-stronghold-with-ai-app-developers/) – TechCrunch, 2026-10-20

Son güncelleme: 2026-10-20