# پشتیبانی بومی گوگل از PyTorch برای vLLM و SGLang روی TPU

> گوگل بک‌اندهای PyTorch را برای موتورهای استنتاج vLLM و SGLang عرضه کرده است تا توسعه‌دهندگان بتوانند با ابزارهای آشنای PyTorch، این مدل‌ها را روی سخت‌افزار TPU اجرا کنند.

Oossa · 2026-10-20 · https://oossa.com/fa/google-adds-native-pytorch-support-for-vllm-and-sglang-on-tpu

گوگل موتورهای استنتاج تازه‌ای معرفی کرده که پروژه‌های متن‌باز vLLM و SGLang را با استفاده از بک‌اند بومی PyTorch به نام TorchTPU روی TPU اجرا می‌کنند. این موتورها با همکاری Inferact (vLLM) و RadixArk (SGLang) توسعه یافته‌اند و هم‌اکنون در شرکت‌هایی مانند Meta برای بارهای کاری عملیاتی به کار می‌روند. آن‌ها بهینه‌سازی‌های ویژه TPU، از جمله کرنل‌های سفارشی Pallas و مدیریت KV-cache، دارند تا اجرای سرویس‌های بزرگ‌مقیاس و کم‌تأخیر را برای کاربران PyTorch ساده‌تر کنند.

## حقایق

- vLLM‑TorchTPU می‌تواند مدل Kimi K3 با 2.8 T پارامتر را روی یک Ironwood TPU با سرعت بیش از 700 توکن در ثانیه سرویس‌دهی کند.
- هر دو موتور با مشتریان نسخه پیش‌نمایش در محیط عملیاتی اجرا می‌شوند و در آزمون‌های سنجش، کمترین هزینه به‌ازای هر یک میلیون توکن را با نرخ $0.0201 ثبت کرده‌اند.

## چرا مهم است

توسعه‌دهندگان PyTorch اکنون می‌توانند بدون مهاجرت به JAX، استنتاج سریع و مقرون‌به‌صرفه را برای مدل‌های زبانی بزرگ روی سخت‌افزار TPU گوگل اجرا کنند.

## منابع و ارجاع‌ها

1. [Announcing New vLLM and SGLang Inference Engines on TPU](https://developers.googleblog.com/en/announcing-new-vllm-and-sglang-inference-engines-on-tpu/) – Google for Developers
2. [Google has joined Amazon in attacking Nvidia’s stronghold with AI app developers](https://techcrunch.com/2026/10/20/google-has-joined-amazon-in-attacking-nvidias-stronghold-with-ai-app-developers/) – TechCrunch, 2026-10-20

آخرین به‌روزرسانی: 2026-10-20