Googles eigens entwickelte KI-Chips, sogenannte Tensor Processing Units (TPUs), verarbeiten inzwischen produktiv KI-Workloads bei Meta. Das geht aus einem Beitrag im Google-Entwicklerblog hervor, über den Tom’s Hardware berichtet. Zum Einsatz kommt eine PyTorch-native Version von SGLang, einer Software zum Ausführen von KI-Modellen und Generieren von Antworten. Außerdem kündigte Google eine PyTorch-native Version von vLLM an, einer weiteren weit verbreiteten Inferenz-Engine.
Damit kann Meta Googles Chips mit PyTorch nutzen, dem von Meta entwickelten KI-Framework, statt wie bisher auf Googles Framework JAX angewiesen zu sein. Laut Google können Entwickler die neuen Versionen nutzen, ohne ihre Software dafür groß umschreiben zu müssen. In der Überschrift des Artikels heißt es zudem, Google habe erstmals TPUs an externe Kunden verkauft. Der vorliegende Bericht nennt jedoch weder diese Kunden noch Einzelheiten zu den Verkäufen.
Eine Alternative zu JAX
Die Software-Anbindung ist wichtig, denn ein Chip ist für Entwickler nur dann nützlich, wenn ihre Tools ihn unterstützen. Bisher liefen SGLang und vLLM auf Google-TPUs über JAX. Dank der PyTorch-nativen Versionen kommen die Chips nun auch für Teams infrage, die bereits PyTorch einsetzen. Dadurch könnte der Aufwand sinken, KI-Workloads auf TPU-Hardware zu übertragen.
Laut Google ist die vLLM-Version Open Source. Im Bericht steht nicht, ob für die SGLang-Version dieselben Lizenz- oder Zugangsbedingungen gelten. Auch wird nicht erklärt, wie Entwickler eine der beiden Versionen erhalten können. Zahlen dazu, wie viele TPUs Meta einsetzt, welche Modelle darauf laufen oder welche Leistung das Setup bietet, fehlen ebenfalls.
Was ändert sich für Nutzer?
Für Meta besteht die bestätigte Neuerung darin, dass das Unternehmen KI-Workloads nun auf eine weitere Weise in seinen Rechenzentren ausführen kann. Das könnte den Ingenieuren mehr Hardware-Optionen bieten. Der Bericht enthält jedoch keine Hinweise darauf, dass sich dadurch für Nutzer Tempo, Qualität oder Verfügbarkeit von Metas Produkten ändern. Ebenso bleibt offen, ob Metas Einsatz ein Test ist oder über die Aussage hinaus, dass die Chips produktiv genutzt werden, bereits breiter ausgerollt wurde.
Warum es wichtig ist
Metas KI-Entwickler können Google-TPUs nun mit PyTorch-nativen Versionen von SGLang und vLLM nutzen, statt bei diesen Engines auf JAX angewiesen zu sein. Damit erhält Meta eine weitere Hardware-Option. Aus der Quelle geht jedoch nicht hervor, ob Nutzer von Metas Produkten Unterschiede bei Tempo oder Funktionen bemerken werden.
