گوگل موتورهای استنتاج تازه‌ای معرفی کرده که پروژه‌های متن‌باز vLLM و SGLang را با استفاده از بک‌اند بومی PyTorch به نام TorchTPU روی TPU اجرا می‌کنند. این موتورها با همکاری Inferact (vLLM) و RadixArk (SGLang) توسعه یافته‌اند و هم‌اکنون در شرکت‌هایی مانند Meta برای بارهای کاری عملیاتی به کار می‌روند. آن‌ها بهینه‌سازی‌های ویژه TPU، از جمله کرنل‌های سفارشی Pallas و مدیریت KV-cache، دارند تا اجرای سرویس‌های بزرگ‌مقیاس و کم‌تأخیر را برای کاربران PyTorch ساده‌تر کنند.
چرا مهم است
توسعه‌دهندگان PyTorch اکنون می‌توانند بدون مهاجرت به JAX، استنتاج سریع و مقرون‌به‌صرفه را برای مدل‌های زبانی بزرگ روی سخت‌افزار TPU گوگل اجرا کنند.
