I chip AI personalizzati di Google, chiamati tensor processing unit (TPU), eseguono già carichi di lavoro AI in produzione presso Meta, secondo un annuncio pubblicato sul blog per sviluppatori di Google e riportato da Tom’s Hardware. La configurazione usa una versione di SGLang nativa per PyTorch, un software impiegato per eseguire modelli AI e generare risposte. Google ha inoltre annunciato una versione di vLLM nativa per PyTorch, un altro motore di inferenza molto diffuso.
La novità permette a Meta di usare i chip di Google con PyTorch, il framework AI creato da Meta, invece di affidarsi come in passato al framework JAX di Google. Google afferma che le nuove versioni consentono agli sviluppatori di usare i TPU senza dover riscrivere gran parte del software. Anche il titolo dell’articolo afferma che Google ha venduto TPU a clienti esterni per la prima volta, ma il resoconto fornito non identifica i clienti né dà dettagli sulle vendite.
Un’alternativa a JAX
Il collegamento software è importante perché un chip è utile agli sviluppatori solo se i loro strumenti possono sfruttarlo. In precedenza, SGLang e vLLM funzionavano sui TPU di Google tramite JAX. Le versioni native per PyTorch rendono i chip una possibilità per i team che già usano PyTorch, riducendo potenzialmente il lavoro necessario per trasferire un carico di lavoro AI sui TPU.
Google afferma che la versione di vLLM è open source. Il resoconto non specifica se la versione di SGLang preveda le stesse condizioni di licenza o di accesso, né spiega come gli sviluppatori possano ottenere una delle due versioni. Non indica inoltre quanti TPU stia usando Meta, quali modelli eseguano o quali siano le prestazioni della configurazione.
Cosa cambia per gli utenti?
Per Meta, la novità confermata è un ulteriore modo di eseguire carichi di lavoro AI nei propri data center. Questo potrebbe offrire ai suoi ingegneri più opzioni hardware, ma il resoconto non fornisce prove di cambiamenti in termini di velocità, qualità o disponibilità dei prodotti di Meta per gli utenti. Non chiarisce neppure se l’implementazione di Meta sia un test o un’introduzione più ampia, limitandosi ad affermare che è in produzione.
Perché conta
Gli ingegneri AI di Meta possono ora usare i TPU di Google con versioni di SGLang e vLLM native per PyTorch, senza dover affidarsi a JAX per questi motori. Meta dispone così di un’opzione hardware in più, ma la fonte non indica se gli utenti dei suoi prodotti noteranno differenze in termini di velocità o funzionalità.
