Googles eigen AI-chips, tensor processing units (TPU’s) genoemd, draaien nu AI-workloads in productie bij Meta, volgens een aankondiging op een Google-blog voor ontwikkelaars waarover Tom’s Hardware berichtte. De configuratie gebruikt een PyTorch-native versie van SGLang, software om AI-modellen te draaien en antwoorden te genereren. Google kondigde ook een PyTorch-native versie aan van vLLM, een andere veelgebruikte inferentie-engine.
Dankzij deze verandering kan Meta Googles chips gebruiken met PyTorch, het AI-framework dat Meta heeft ontwikkeld, in plaats van zoals voorheen te vertrouwen op Googles JAX-framework. Volgens Google kunnen ontwikkelaars met de nieuwe versies TPU’s gebruiken zonder hun software grotendeels te hoeven herschrijven. In de kop van het artikel staat ook dat Google voor het eerst TPU’s aan externe klanten heeft verkocht, maar het aangeleverde bericht noemt die klanten niet en geeft geen details over de verkoop.
Een alternatief voor JAX
De softwarekoppeling is belangrijk, omdat een chip voor ontwikkelaars alleen nuttig is als hun tools ermee overweg kunnen. Voorheen draaiden SGLang en vLLM op Google-TPU’s via JAX. Met de PyTorch-native versies worden de chips ook een optie voor teams die al met PyTorch werken. Daardoor is er mogelijk minder werk nodig om een AI-workload over te zetten naar TPU-hardware.
Google zegt dat de versie van vLLM open source is. Het bericht vermeldt niet of voor de SGLang-versie dezelfde licentie- of toegangsvoorwaarden gelden en legt ook niet uit hoe ontwikkelaars aan een van beide versies kunnen komen. Verder ontbreken cijfers over het aantal TPU’s dat Meta gebruikt, welke modellen erop draaien en hoe de configuratie presteert.
Wat verandert er voor gebruikers?
Voor Meta is de bevestigde verandering dat het nu nog een manier heeft om AI-workloads in zijn datacenters te draaien. Dat kan zijn technici meer hardwareopties bieden, maar het bericht bevat geen bewijs dat de snelheid, kwaliteit of beschikbaarheid van Meta’s producten voor gebruikers verandert. Ook staat er niet of Meta de technologie alleen test of op grotere schaal uitrolt; alleen dat deze in productie wordt gebruikt.
Waarom het ertoe doet
Meta’s AI-technici kunnen nu Google-TPU’s gebruiken met PyTorch-native versies van SGLang en vLLM, in plaats van voor die engines op JAX te vertrouwen. Dat geeft Meta een extra hardwareoptie, maar uit de bron blijkt niet of gebruikers van Meta’s producten verschil zullen merken in snelheid of functies.
