Google ha annunciato nuovi motori di inferenza che permettono di eseguire sulle TPU i progetti open source vLLM e SGLang, grazie a un backend PyTorch nativo chiamato TorchTPU. I motori sono stati sviluppati insieme a Inferact (vLLM) e RadixArk (SGLang) e sono già utilizzati per carichi di lavoro in produzione da aziende come Meta. Includono ottimizzazioni specifiche per le TPU, come kernel Pallas personalizzati e la gestione della cache KV, con l’obiettivo di semplificare l’inferenza su larga scala e a bassa latenza per chi usa PyTorch.
Perché conta
Gli sviluppatori PyTorch possono ora distribuire inferenze rapide ed efficienti in termini di costi per i modelli linguistici di grandi dimensioni sull’hardware TPU di Google, senza passare a JAX.
