Google представила новые движки инференса, которые запускают проекты с открытым исходным кодом vLLM и SGLang на TPU с помощью нативного бэкенда PyTorch под названием TorchTPU. Они разработаны совместно с Inferact (vLLM) и RadixArk (SGLang) и уже обслуживают производственные нагрузки в таких компаниях, как Meta. В движки входят оптимизации для TPU, в том числе пользовательские ядра Pallas и управление KV-кэшем. Их цель — упростить пользователям PyTorch обслуживание моделей в крупных масштабах с низкой задержкой.
Почему это важно
Разработчики на PyTorch теперь могут запускать быстрый и экономичный инференс больших языковых моделей на TPU от Google, не переходя на JAX.
