Google heeft nieuwe inference-engines aangekondigd waarmee de open-sourceprojecten vLLM en SGLang op TPU’s draaien via een native PyTorch-backend genaamd TorchTPU. De engines zijn samen ontwikkeld met Inferact (vLLM) en RadixArk (SGLang) en worden al gebruikt voor productie-workloads bij bedrijven als Meta. Ze bevatten specifieke optimalisaties voor TPU’s, zoals aangepaste Pallas-kernels en beheer van de KV-cache, om grootschalige inference met lage latentie toegankelijker te maken voor PyTorch-gebruikers.
Waarom het ertoe doet
PyTorch-ontwikkelaars kunnen nu snelle, kostenefficiënte inference voor grote taalmodellen op Google TPU-hardware uitvoeren zonder over te stappen op JAX.
