Google a publié TPU Sync, une bibliothèque C++ open source qui transfère les caches clé-valeur (KV) et les poids des modèles entre la mémoire à large bande passante des TPU, la mémoire vive des hôtes, le stockage et le réseau. Selon l’entreprise, la bibliothèque réduit de plus de 90 % la latence de transfert des caches KV sur des modèles à mélange d’experts comptant entre 235 et 480 milliards de paramètres.
Pourquoi c'est important
Les développeurs peuvent actualiser beaucoup plus rapidement l’état de grands modèles de langage sur des TPU, ce qui réduit les interruptions pendant l’inférence ou le fine-tuning.
