Google hat neue Inferenz-Engines angekündigt, mit denen sich die Open-Source-Projekte vLLM und SGLang über ein natives PyTorch-Backend namens TorchTPU auf TPUs ausführen lassen. Die Engines wurden gemeinsam mit Inferact (vLLM) und RadixArk (SGLang) entwickelt und bedienen bereits Produktionslasten bei Unternehmen wie Meta. Zu den TPU-spezifischen Optimierungen zählen eigens entwickelte Pallas-Kernels und die Verwaltung des KV-Caches. Sie sollen PyTorch-Nutzern die Bereitstellung großer Modelle mit niedriger Latenz erleichtern.
Warum es wichtig ist
PyTorch-Entwickler können jetzt große Sprachmodelle schnell und kosteneffizient auf Googles TPU-Hardware ausführen, ohne zu JAX wechseln zu müssen.
