Google et Meta ont annoncé TorchTPU à la PyTorch Conference North America 2026, à San José. Ce nouveau backend permet d’exécuter du code PyTorch sur les Tensor Processing Units de Google en modifiant une seule ligne pour changer d’appareil, comme les développeurs le font déjà pour passer du CPU au GPU. Le projet est entièrement open source et disponible dès aujourd’hui sur GitHub.
TorchTPU remplace l’ancienne passerelle PyTorch/XLA, qui nécessitait des modifications importantes du code et entraînait de longs temps de compilation. Grâce à son intégration directe au répartiteur bas niveau de PyTorch, TorchTPU fonctionne d’emblée avec les modèles Hugging Face, les moteurs d’inférence vLLM et SGLang, ainsi qu’avec la pile d’entraînement TorchTitan. La version comprend quatre dépôts : TorchTPU, vLLM‑TorchTPU, SGLang‑TorchTPU et TorchTitan.
Google a montré une montée en charge presque linéaire jusqu’à 8,192 puces TPU v7x. Dans son test, un modèle mixture-of-experts Qwen‑3 de 235 milliards de paramètres a utilisé 28 % de la capacité de calcul en FLOPs des puces. L’entreprise a également présenté en avant-première une suite d’agents TPU capable d’automatiser l’optimisation des performances. Elle précise toutefois que le simple changement d’appareil n’est qu’un point de départ : il faut ajuster davantage les formes des tenseurs et le sharding pour obtenir une vitesse optimale.
Pourquoi TorchTPU arrive à point nommé
Les tâches d’inférence représentent désormais la majeure partie des calculs dans les centres de données, et de nombreux services reposant sur de grands modèles de langage recherchent du matériel moins cher et plus rapide. Les TPU sont réputés pour leur débit élevé et leur consommation d’énergie réduite, mais il était jusqu’ici difficile de les utiliser avec PyTorch. TorchTPU abaisse cet obstacle et permet aux développeurs de conserver une seule base de code tout en expérimentant avec des clusters TPU dans le cloud.
L’équipe d’ingénierie de Meta a indiqué vouloir transférer l’entraînement de grands modèles de langage à plus grande échelle vers les TPU, en invoquant le besoin de « performances, de fiabilité et de maintenabilité ». Comme le backend est open source, d’autres fournisseurs de cloud peuvent également l’adopter, ce qui réduit la dépendance à un seul fournisseur pour les équipes qui utilisent déjà PyTorch.
Pourquoi c'est important
Pour les équipes de science des données, TorchTPU permet de tester l’accélération par TPU sans réécrire leur code, ce qui pourrait réduire les coûts cloud pour les grands modèles. Toutefois, atteindre une vitesse optimale nécessite encore d’ajuster les formes des modèles et le sharding ; les budgets doivent donc prévoir du temps d’ingénierie pour optimiser les performances.
