Google och Meta presenterade TorchTPU på PyTorch Conference North America 2026 i San Jose. Den nya backend-lösningen gör det möjligt att köra PyTorch-kod på Googles Tensor Processing Units genom att ändra en enda rad för enhetsval, ungefär som utvecklare redan växlar mellan processorer och grafikkort. Projektet är helt öppen källkod och finns på GitHub från och med i dag.
TorchTPU ersätter den äldre PyTorch/XLA-bryggan, som krävde omfattande kodändringar och hade långa kompileringstider. Genom att integreras direkt med PyTorchs lågnivådispatcher fungerar TorchTPU direkt med modeller från Hugging Face, inferensmotorerna vLLM och SGLang samt träningsramverket TorchTitan. Lanseringen omfattar fyra kodförråd: TorchTPU, vLLM‑TorchTPU, SGLang‑TorchTPU och TorchTitan.
Google visade upp nästan linjär skalning med upp till 8,192 TPU v7x-chip. I företagets benchmarktest utnyttjade en Qwen‑3-modell med 235 miljarder parametrar och en mixture-of-experts-arkitektur 28 % av chipens FLOPS-kapacitet. Företaget visade också en förhandsversion av en uppsättning TPU-agenter som kan automatisera prestandaoptimering. Samtidigt påpekar Google att det enkla enhetsbytet bara är en början: ytterligare justeringar av tensorformer och sharding krävs för att nå högsta hastighet.
Därför är TorchTPU aktuellt nu
Inferensarbetsbelastningar står nu för den största delen av datacenters beräkningsarbete, och många tjänster baserade på stora språkmodeller söker billigare och snabbare hårdvara. TPU:er är kända för hög kapacitet och lägre energiförbrukning, men hittills har de varit svåra att använda med PyTorch. TorchTPU sänker tröskeln och låter utvecklare behålla en gemensam kodbas samtidigt som de testar TPU-kluster i molnet.
Metas teknikteam uppgav att de planerar att flytta träning av större språkmodeller till TPU:er, med hänvisning till behovet av ”prestanda, tillförlitlighet och underhållbarhet”. Eftersom lösningen är öppen källkod kan även andra molnleverantörer använda samma backend, vilket minskar inlåsningen för team som redan använder PyTorch.
Varför det spelar roll
För datavetenskapsteam innebär TorchTPU att de kan testa TPU-acceleration utan att skriva om koden, vilket potentiellt kan sänka molnkostnaderna för stora modeller. För att nå optimal hastighet krävs dock fortfarande justeringar av modellformer och sharding, så budgeten bör också täcka utvecklingstid för prestandaoptimering.
