Google ha rilasciato TPU Sync, una libreria C++ open source che trasferisce cache key-value (KV) e pesi dei modelli tra la memoria ad alta larghezza di banda dei TPU, la RAM dell’host, lo storage e la rete. Secondo l’azienda, la libreria riduce di oltre il 90% la latenza di trasferimento delle cache KV sui modelli mixture-of-experts con un numero di parametri compreso tra 235 miliardi e 480 miliardi.
Perché conta
Gli sviluppatori possono aggiornare molto più rapidamente lo stato dei modelli linguistici di grandi dimensioni sui TPU, riducendo le pause durante l’inferenza o la messa a punto.
