Google y Meta anunciaron TorchTPU en PyTorch Conference North America 2026, en San José. El nuevo backend permite ejecutar código de PyTorch en las unidades de procesamiento tensorial de Google con una sola línea para cambiar de dispositivo, de forma similar a como los desarrolladores alternan entre CPU y GPU. El proyecto es totalmente de código abierto y ya está disponible en GitHub.
TorchTPU sustituye al antiguo puente PyTorch/XLA, que exigía cambios invasivos en el código y tenía tiempos de compilación prolongados. Al integrarse directamente con el dispatcher de bajo nivel de PyTorch, TorchTPU funciona de inmediato con modelos de Hugging Face, los motores de inferencia vLLM y SGLang, y la pila de entrenamiento TorchTitan. El lanzamiento incluye cuatro repositorios: TorchTPU, vLLM‑TorchTPU, SGLang‑TorchTPU y TorchTitan.
Google mostró un escalado casi lineal hasta 8,192 chips TPU v7x. En su prueba de rendimiento, un modelo de mezcla de expertos Qwen‑3 de 235 mil millones de parámetros utilizó el 28 % de la capacidad de cómputo en FLOPs de los chips. La empresa también presentó un conjunto de agentes para TPU que puede automatizar el ajuste del rendimiento, aunque señaló que el sencillo cambio de dispositivo es solo un punto de partida: para alcanzar la máxima velocidad hacen falta más ajustes en las dimensiones de los tensores y la fragmentación del modelo.
Por qué TorchTPU importa ahora
Las cargas de trabajo de inferencia ya representan la mayor parte del cómputo en los centros de datos, y muchos servicios de modelos de lenguaje grandes buscan hardware más económico y rápido. Las TPU son conocidas por su alto rendimiento y menor consumo energético, pero hasta ahora eran difíciles de usar con PyTorch. TorchTPU reduce esa barrera y permite a los desarrolladores mantener una única base de código mientras prueban clústeres de TPU en la nube.
El equipo de ingeniería de Meta afirmó que planea trasladar a las TPU el entrenamiento de modelos de lenguaje grandes a mayor escala, citando la necesidad de “rendimiento, fiabilidad y facilidad de mantenimiento”. Además, al ser de código abierto, otros proveedores de nube pueden adoptar el mismo backend, lo que reduce la dependencia de un solo proveedor para los equipos que ya usan PyTorch.
Por qué importa
Para los equipos de ciencia de datos, TorchTPU permite probar la aceleración con TPU sin reescribir el código, lo que podría reducir los costos de nube al trabajar con modelos grandes. Sin embargo, para lograr la máxima velocidad todavía es necesario ajustar las dimensiones de los modelos y la fragmentación, así que los presupuestos deben contemplar tiempo de ingeniería para optimizar el rendimiento.
