Google anunció nuevos motores de inferencia que ejecutan los proyectos de código abierto vLLM y SGLang en TPU mediante un backend nativo de PyTorch llamado TorchTPU. Se desarrollaron en colaboración con Inferact (vLLM) y RadixArk (SGLang), y ya procesan cargas de trabajo de producción en empresas como Meta. Incluyen optimizaciones específicas para TPU, como kernels personalizados de Pallas y gestión de la caché KV, con el objetivo de facilitar la prestación de servicios a gran escala y con baja latencia para quienes usan PyTorch.
Por qué importa
Ahora, los desarrolladores que usan PyTorch pueden implementar inferencias rápidas y rentables para modelos de lenguaje grandes en el hardware TPU de Google sin tener que cambiar a JAX.
