Google presenterade nya inferensmotorer som kör open source-projekten vLLM och SGLang på TPU:er med en inbyggd PyTorch-backend kallad TorchTPU. Motorerna har utvecklats tillsammans med Inferact (vLLM) och RadixArk (SGLang) och används redan för produktionsarbetslaster hos företag som Meta. De innehåller TPU-specifika optimeringar, till exempel anpassade Pallas-kärnor och hantering av KV-cache, med målet att göra storskalig inferens med låg fördröjning enklare för PyTorch-användare.
Varför det spelar roll
PyTorch-utvecklare kan nu köra snabb och kostnadseffektiv inferens för stora språkmodeller på Googles TPU-hårdvara utan att byta till JAX.
