# Google en Meta brengen TorchTPU uit voor PyTorch op TPU’s

> Tijdens PyTorch Conference 2026 maakten de bedrijven TorchTPU opensource. Ontwikkelaars kunnen daarmee .to('cuda') vervangen door .to('tpu') en modellen draaien op TPU’s van Google Cloud.

Oossa · 2026-10-25 · https://oossa.com/nl/google-and-meta-release-torchtpu-for-native-pytorch-on-tpus

Google en Meta kondigden TorchTPU aan tijdens PyTorch Conference North America 2026 in San Jose. Met deze nieuwe backend kan PyTorch-code met één regel voor het wisselen van apparaat worden uitgevoerd op Tensor Processing Units van Google, vergelijkbaar met hoe ontwikkelaars nu al wisselen tussen CPU’s en GPU’s. Het project is volledig opensource en vanaf vandaag beschikbaar op GitHub.

TorchTPU vervangt de oudere PyTorch/XLA-koppeling, waarvoor ingrijpende aanpassingen aan de code nodig waren en die lange compileertijden had. Doordat TorchTPU rechtstreeks is geïntegreerd met de low-level dispatcher van PyTorch, werkt het meteen met modellen van Hugging Face, de inferentie-engines vLLM en SGLang en de trainingsstack TorchTitan. De release omvat vier repositories: TorchTPU, vLLM‑TorchTPU, SGLang‑TorchTPU en TorchTitan.

Google liet zien dat de prestaties bijna lineair opschalen tot 8,192 TPU v7x-chips. In hun benchmark gebruikte een mixture-of-experts-model Qwen‑3 met 235 miljard parameters 28 % van de rekenkracht van de chips. Het bedrijf gaf ook een voorproefje van een suite met TPU-agents die prestatie-optimalisatie kan automatiseren. Wel merkt Google op dat de eenvoudige aanpassing van het apparaat slechts een begin is: voor maximale snelheid zijn verdere aanpassingen aan tensorvormen en sharding nodig.

## Waarom TorchTPU er nu toe doet

Inferentietaken vormen inmiddels het grootste deel van de rekenkracht die datacenters gebruiken, en veel diensten voor grote taalmodellen zoeken goedkopere, snellere hardware. TPU’s staan bekend om hun hoge verwerkingscapaciteit en lagere energieverbruik, maar waren tot nu toe lastig te gebruiken vanuit PyTorch. TorchTPU verlaagt die drempel: ontwikkelaars kunnen dezelfde codebase behouden en tegelijk experimenteren met TPU-clusters in de cloud.

Het engineeringteam van Meta zei dat het van plan is grotere LLM-trainingen naar TPU’s te verplaatsen, met als reden de behoefte aan “performance, reliability, and maintainability”. Doordat de backend opensource is, kunnen ook andere cloudproviders hem gebruiken. Dat verkleint de afhankelijkheid van één leverancier voor teams die al met PyTorch werken.

## De feiten

- TorchTPU werd op 21 oktober 2026 aangekondigd tijdens PyTorch Conference North America in San Jose.
- Met de backend kunnen ontwikkelaars .to('cuda') vervangen door .to('tpu') om modellen te draaien op TPU’s van Google Cloud.
- Google demonstreerde opschaling naar 8,192 TPU v7x-chips met een Qwen‑3 235B MoE-model dat 28 % van de FLOPs-capaciteit benutte.
- Er werden vier opensource-repositories uitgebracht: TorchTPU, vLLM‑TorchTPU, SGLang‑TorchTPU en TorchTitan.
- Meta wil grotere LLM-trainingen naar TPU’s verplaatsen, aldus software-engineer Zongwei Zhou.

## Waarom het ertoe doet

Voor data-scienceteams betekent TorchTPU dat ze TPU-versnelling kunnen uitproberen zonder code te herschrijven, wat de cloudkosten voor grote modellen mogelijk kan verlagen. Voor optimale snelheid zijn echter nog steeds aanpassingen aan tensorvormen en sharding nodig. Neem daarom ook engineeringtijd voor prestatie-optimalisatie mee in de begroting.

## Bronnen en referenties

1. [PyTorch Conference 2026: Google and Meta Open-Source TorchTPU for Native PyTorch on TPUs](https://www.infoq.com/news/2026/10/google-meta-torchtpu/?utm_campaign=infoq_content&utm_source=infoq&utm_medium=feed&utm_term=AI%2C+ML+%26+Data+Engineering) – InfoQ, 2026-10-25
2. [Introducing TorchTPU](https://pytorch.org/blog/introducing-torchtpu/) – PyTorch

Laatst bijgewerkt: 2026-10-25