# Google maakt TorchTPU open source voor PyTorch op TPU’s

> Dankzij het project van Google en Meta kunnen ontwikkelaars PyTorch-workloads met beperkte codeaanpassingen op Google-chips draaien, naast tools als vLLM en Hugging Face.

Oossa · 2026-11-02 · https://oossa.com/nl/google-open-sources-torchtpu-for-running-pytorch-on-tpus

Google heeft TorchTPU open source gemaakt: een softwarelaag waarmee ontwikkelaars PyTorch — de veelgebruikte toolkit voor het bouwen en uitvoeren van AI-modellen — kunnen draaien op Googles Tensor Processing Units, oftewel TPU’s. TorchTPU is ontwikkeld met het PyTorch-team van Meta en is bedoeld om bestaande workloads met relatief beperkte codeaanpassingen naar TPU-hardware over te zetten, in plaats van ze opnieuw te schrijven.

Volgens Google ondersteunt TorchTPU zowel eager execution, waarbij bewerkingen worden uitgevoerd zodra ze worden aangeroepen en die modus handig is voor debuggen, als gecompileerde uitvoering voor productie-workloads. Ontwikkelaars kunnen een apparaatinstelling wijzigen van ‘cuda’ naar ‘tpu’ en de gedistribueerde TPU-backend gebruiken. Google wijst ook op de API van PyTorch voor het detecteren van accelerators als alternatief. TorchTPU is beschikbaar op GitHub, maar op de roadmap staan nog verbeteringen voor dynamische invoervormen, compilatiesnelheid, ondersteuning voor operators, reinforcement learning en quantisatie.

## Wat verandert er voor ontwikkelaars?

Met de introductie kunnen ontwikkelaars TPU’s gebruiken met software die veel PyTorch-gebruikers al kennen. Volgens Google werkt TorchTPU met de servingtools vLLM en SGLang en met projecten voor training en orkestratie, waaronder TorchTitan, Ray en TorchRec. In Transformers v5 kunnen ontwikkelaars een TPU selecteren met de instelling device_map="tpu", meldt Hugging Face. Ook de Diffusers-bibliotheek ondersteunt uitvoering op TPU’s, inclusief gecompileerde modus en het verdelen van werk over meerdere accelerators.

Dit is een andere aanpak dan PyTorch/XLA, Googles eerdere manier om PyTorch op TPU’s te draaien. Volgens Google vereiste dat systeem ingrijpendere codeaanpassingen, duurde compileren lang en ondersteunde het de eager-modus van PyTorch niet. Google heeft een testpipeline gebouwd die volgens InfoQ ongeveer 5.000 Hugging Face-modellen op meer dan 500 architecturen test. Dat wijst op uitgebreide tests, maar betekent niet dat elk model of elke workload gegarandeerd zonder aanpassingen werkt.

## Hoe verhoudt het zich tot andere hardwareopties?

Google meldt dat de DeferAndFuse-modus van TorchTPU — een combinatie van eager en gecompileerde uitvoering — minstens 50% sneller kan zijn dan de Strict Eager-modus, terwijl het piekgeheugengebruik van de accelerator afneemt. In een afzonderlijke test draaide Google een Muse Glimmer-model van 30 miljard parameters in standaard-PyTorch. InfoQ meldt een inferentiedoorvoer van 25.700 tokens per seconde op één TPUv7-chip bij een sequentielengte van 5.120, en 22.400 bij 10.240. Bij training op vier TPUv7-chips werden bij die lengtes respectievelijk 5.600 en 4.600 tokens per seconde gehaald. Dit zijn resultaten die Google zelf rapporteert, geen onafhankelijke vergelijking.

TechCrunch zet TorchTPU naast TorchNeuron van Amazon, dat in dezelfde week werd aangekondigd voor het draaien van PyTorch-workloads op Amazons Trainium-chips. Beide projecten willen het makkelijker maken om alternatieven voor Nvidia GPU’s te gebruiken. De introductie van TorchTPU biedt PyTorch-gebruikers een extra hardwareoptie, maar laat op zichzelf niet zien of het overzetten van een workload de kosten verlaagt of beter presteert dan de huidige opstelling van een ontwikkelaar.

## De feiten

- Google kondigde TorchTPU aan als open source tijdens PyTorch Conference 2026 en zegt dat het samen met het PyTorch-team van Meta is ontwikkeld.
- Volgens Google is de DeferAndFuse-modus minstens 50% sneller dan Strict Eager en neemt het piekgeheugengebruik af.
- InfoQ meldt dat Google ongeveer 5.000 Hugging Face-modellen op meer dan 500 architecturen heeft getest.
- In Googles gerapporteerde Muse Glimmer-test werd een model van 30 miljard parameters gebruikt: voor inferentie één TPUv7-chip en voor training vier.

## Waarom het ertoe doet

Voor ontwikkelaars die al met PyTorch werken, kan TorchTPU het makkelijker maken om workloads op Google TPU’s te testen of uit te rollen zonder ze helemaal opnieuw op te bouwen. Het is nog onduidelijk of overstappen voor een specifiek model de kosten verlaagt of de snelheid verhoogt; de genoemde prestatieresultaten zijn afkomstig van Google zelf.

## Bronnen en referenties

1. [Google and Meta Open-source TorchTPU to Bring Native PyTorch Support to Google TPUs](https://www.infoq.com/news/2026/11/torchtpu-native-pythorch-tpu/?utm_campaign=infoq_content&utm_source=infoq&utm_medium=feed&utm_term=AI%2C+ML+%26+Data+Engineering) – InfoQ, 2026-11-02
2. [Google Cloud](https://cloud.google.com/blog/topics/ai-infrastructure/torchtpu-is-now-open-source-run-native-pytorch-on-tpus?hl=en) – Google Cloud
3. [Google has joined Amazon in attacking Nvidia’s stronghold with AI app developers](https://techcrunch.com/2026/10/20/google-has-joined-amazon-in-attacking-nvidias-stronghold-with-ai-app-developers/) – TechCrunch, 2026-10-20

Laatst bijgewerkt: 2026-11-02