Google a annoncé de nouveaux moteurs d’inférence qui exécutent sur TPU les projets open source vLLM et SGLang grâce à un backend PyTorch natif appelé TorchTPU. Développés conjointement avec Inferact (vLLM) et RadixArk (SGLang), ils servent déjà des charges de travail en production chez des entreprises comme Meta. Ils intègrent des optimisations propres aux TPU, notamment des noyaux Pallas personnalisés et la gestion du cache KV, afin de faciliter le déploiement à grande échelle et à faible latence pour les utilisateurs de PyTorch.
Pourquoi c'est important
Les développeurs PyTorch peuvent désormais déployer sur le matériel TPU de Google des inférences rapides et économiques pour les grands modèles de langage, sans passer à JAX.
