Google hat TPU Sync veröffentlicht, eine Open-Source-C++-Bibliothek, die Key-Value-Caches (KV-Caches) und Modellgewichte zwischen dem High-Bandwidth Memory von TPUs, dem Arbeitsspeicher des Hostsystems, Speichergeräten und dem Netzwerk verschiebt. Laut Google verkürzt die Bibliothek die Übertragungsdauer von KV-Caches bei Mixture-of-Experts-Modellen mit 235 bis 480 Milliarden Parametern um mehr als 90 Prozent.
Warum es wichtig ist
Entwickler können den Zustand großer Sprachmodelle auf TPUs deutlich schneller aktualisieren und so Unterbrechungen bei der Inferenz oder beim Fine-Tuning verkürzen.
