Фирменные AI-чипы Google — тензорные процессоры (TPU) — уже используются для рабочих AI-нагрузок Meta, говорится в записи в блоге Google для разработчиков, о которой сообщил Tom’s Hardware. В этой системе применяется версия SGLang для PyTorch — ПО для запуска AI-моделей и генерации ответов. Google также представила версию для PyTorch другого широко используемого движка инференса — vLLM.
Теперь Meta может использовать чипы Google с PyTorch — AI-фреймворком, созданным Meta, — вместо того чтобы, как прежде, полагаться на фреймворк Google JAX. По словам Google, новые версии позволяют разработчикам работать с TPU, почти не переписывая ПО. В заголовке статьи также говорится, что Google впервые продала TPU внешним заказчикам, однако в предоставленном материале не названы покупатели и не приведены подробности сделок.
Альтернатива JAX
Связка с ПО важна, потому что чип полезен разработчикам лишь тогда, когда их инструменты умеют с ним работать. Раньше SGLang и vLLM запускались на Google TPU через JAX. Версии для PyTorch делают чипы доступными командам, которые уже используют PyTorch, и потенциально сокращают объём работы, необходимой для переноса AI-нагрузки на TPU.
Google сообщает, что версия vLLM распространяется с открытым исходным кодом. В материале не уточняется, действует ли такая же лицензия или условия доступа для SGLang, и не объясняется, как разработчики могут получить любую из этих версий. Также не приводятся данные о количестве TPU у Meta, моделях, на которых они работают, или производительности системы.
Что изменится для пользователей?
Подтверждённое изменение для Meta — ещё один способ запускать AI-нагрузки в своих дата-центрах. Это может дать инженерам компании больше вариантов оборудования, однако в материале нет свидетельств того, что изменятся скорость, качество или доступность продуктов Meta для пользователей. Также не уточняется, является ли развёртывание Meta тестовым или более масштабным: сказано лишь, что система используется в рабочем режиме.
Почему это важно
Теперь AI-инженеры Meta могут использовать Google TPU с версиями SGLang и vLLM для PyTorch, не полагаясь на JAX для работы этих движков. Это расширяет выбор оборудования для Meta, но в источнике нет данных о том, заметят ли пользователи продуктов компании изменения в скорости или функциях.
