# Google und Meta bringen TorchTPU für PyTorch auf TPUs heraus

> Auf der PyTorch Conference 2026 haben die beiden Unternehmen TorchTPU als Open Source veröffentlicht. Damit können Entwickler .to('cuda') durch .to('tpu') ersetzen und Modelle auf Google-Cloud-TPUs ausführen.

Oossa · 2026-10-25 · https://oossa.com/de/google-and-meta-release-torchtpu-for-native-pytorch-on-tpus

Google und Meta haben TorchTPU auf der PyTorch Conference North America 2026 in San Jose angekündigt. Mit dem neuen Backend lässt sich PyTorch-Code mit einer einzigen Änderung der Geräteangabe auf Googles Tensor Processing Units ausführen – ähnlich wie Entwickler bereits zwischen CPUs und GPUs wechseln. Das Projekt ist vollständig quelloffen und ab sofort auf GitHub verfügbar.

TorchTPU ersetzt die ältere PyTorch/XLA-Schnittstelle, die tiefgreifende Codeänderungen erforderte und lange Kompilierungszeiten mit sich brachte. Durch die direkte Integration in den Low-Level-Dispatcher von PyTorch funktioniert TorchTPU ohne zusätzliche Anpassungen mit Hugging-Face-Modellen, den Inferenz-Engines vLLM und SGLang sowie dem Trainings-Stack TorchTitan. Die Veröffentlichung umfasst vier Repositories: TorchTPU, vLLM-TorchTPU, SGLang-TorchTPU und TorchTitan.

Google demonstrierte eine nahezu lineare Skalierung auf bis zu 8,192 TPU-v7x-Chips. In ihrem Benchmark nutzte ein Mixture-of-Experts-Modell Qwen-3 mit 235 Milliarden Parametern 28 % der FLOPs-Kapazität der Chips. Außerdem stellte das Unternehmen eine Vorschau auf eine TPU-Agenten-Suite vor, die die Leistungsoptimierung automatisieren kann. Google weist jedoch darauf hin, dass die einfache Geräteänderung nur der erste Schritt ist: Für die maximale Geschwindigkeit sind weitere Anpassungen an Shapes und Sharding nötig.

## Warum TorchTPU gerade jetzt wichtig ist

Inferenz-Workloads machen inzwischen den Großteil der Rechenlast in Rechenzentren aus, und viele Anbieter großer Sprachmodelle suchen nach günstigeren und schnelleren Hardwarelösungen. TPUs sind für ihren hohen Durchsatz und geringeren Energieverbrauch bekannt, waren bislang aber nur schwer mit PyTorch nutzbar. TorchTPU senkt diese Hürde: Entwickler können eine gemeinsame Codebasis beibehalten und zugleich mit TPU-Clustern in der Cloud experimentieren.

Metas Engineering-Team erklärte, größere LLM-Trainings künftig auf TPUs verlagern zu wollen. Als Gründe nannte es „Leistung, Zuverlässigkeit und Wartbarkeit“. Da das Projekt quelloffen ist, können auch andere Cloud-Anbieter dasselbe Backend übernehmen. Das verringert die Abhängigkeit von einzelnen Anbietern für Teams, die bereits PyTorch einsetzen.

## Die Fakten

- TorchTPU wurde am 21. Oktober 2026 auf der PyTorch Conference North America in San Jose angekündigt.
- Mit dem Backend können Entwickler .to('cuda') durch .to('tpu') ersetzen, um Modelle auf Google-Cloud-TPUs auszuführen.
- Google demonstrierte die Skalierung auf 8,192 TPU-v7x-Chips mit einem Qwen-3-235B-MoE-Modell, das 28 % FLOPs-Auslastung erreichte.
- Vier Open-Source-Repositories wurden veröffentlicht: TorchTPU, vLLM-TorchTPU, SGLang-TorchTPU und TorchTitan.
- Meta plant laut dem Softwareingenieur Zongwei Zhou, größere LLM-Trainings-Workloads auf TPUs zu verlagern.

## Warum es wichtig ist

Für Data-Science-Teams bedeutet TorchTPU, dass sie TPU-Beschleunigung ausprobieren können, ohne ihren Code neu schreiben zu müssen. Das könnte die Cloud-Kosten für große Modelle senken. Für optimale Geschwindigkeit sind jedoch weiterhin Anpassungen an Modell-Shapes und Sharding nötig; Teams sollten daher auch Entwicklungszeit für die Leistungsoptimierung einplanen.

## Quellen und Referenzen

1. [PyTorch Conference 2026: Google and Meta Open-Source TorchTPU for Native PyTorch on TPUs](https://www.infoq.com/news/2026/10/google-meta-torchtpu/?utm_campaign=infoq_content&utm_source=infoq&utm_medium=feed&utm_term=AI%2C+ML+%26+Data+Engineering) – InfoQ, 2026-10-25
2. [Introducing TorchTPU](https://pytorch.org/blog/introducing-torchtpu/) – PyTorch

Zuletzt aktualisiert: 2026-10-25