Os chips personalizados de IA do Google, chamados unidades de processamento tensorial (TPUs), já estão executando cargas de trabalho de IA em produção na Meta, segundo um anúncio no blog para desenvolvedores do Google, noticiado pelo Tom’s Hardware. A configuração usa uma versão do SGLang compatível com PyTorch, software usado para executar modelos de IA e gerar respostas. O Google também anunciou uma versão do vLLM compatível com PyTorch, outro mecanismo de inferência amplamente utilizado.
A mudança permite que a Meta use os chips do Google com PyTorch, a estrutura de IA criada pela própria Meta, em vez de depender do framework JAX, do Google, como antes. Segundo o Google, as novas versões permitem que desenvolvedores usem TPUs sem precisar reescrever a maior parte do software. A manchete do artigo também afirma que o Google vendeu TPUs a clientes externos pela primeira vez, mas a reportagem fornecida não identifica esses clientes nem apresenta detalhes das vendas.
Uma alternativa ao JAX
A compatibilidade com o software é importante porque um chip só é útil para os desenvolvedores se as ferramentas que eles usam puderem aproveitá-lo. Antes, o SGLang e o vLLM rodavam em TPUs do Google por meio do JAX. As versões compatíveis com PyTorch tornam os chips uma opção para equipes que já usam PyTorch e podem reduzir o trabalho necessário para transferir uma carga de trabalho de IA para o hardware TPU.
O Google afirma que a versão do vLLM é de código aberto. A reportagem não informa se a versão do SGLang tem os mesmos termos de licença ou acesso, nem explica como os desenvolvedores podem obter qualquer uma das versões. Também não apresenta dados sobre quantas TPUs a Meta está usando, quais modelos elas executam ou o desempenho da configuração.
O que muda para os usuários?
Para a Meta, a mudança confirmada é mais uma forma de executar cargas de trabalho de IA em seus data centers. Isso pode oferecer mais opções de hardware aos engenheiros da empresa, mas a reportagem não apresenta evidências de mudanças na velocidade, na qualidade ou na disponibilidade dos produtos da Meta para os usuários. Também não diz se a implantação da Meta é um teste ou uma adoção mais ampla, além de afirmar que está em produção.
Por que importa
Os engenheiros de IA da Meta agora podem usar TPUs do Google com versões do SGLang e do vLLM compatíveis com PyTorch, sem depender do JAX para esses mecanismos. Isso acrescenta uma opção de hardware para a Meta, mas a fonte não mostra se os usuários dos produtos da empresa notarão alguma diferença na velocidade ou nos recursos.
