أعلنت Google عن محركَي استدلال يشغّلان مشروعي vLLM وSGLang مفتوحي المصدر على وحدات TPU، باستخدام خلفية PyTorch أصلية تُسمى TorchTPU. وطُوّر المحركان بالتعاون مع Inferact (vLLM) وRadixArk (SGLang)، ويُستخدمان بالفعل في أعباء عمل إنتاجية لدى شركات مثل Meta. ويتضمنان تحسينات مخصصة لوحدات TPU، مثل نوى Pallas المخصصة وإدارة ذاكرة التخزين المؤقت KV، بهدف تسهيل تقديم الخدمة بزمن استجابة منخفض وعلى نطاق واسع لمستخدمي PyTorch.
لماذا يهم
بات بإمكان مطوري PyTorch نشر استدلال سريع وفعّال من حيث التكلفة للنماذج اللغوية الكبيرة على عتاد TPU من Google، من دون الانتقال إلى JAX.
