Google heeft TPU Sync uitgebracht, een open-source C++-bibliotheek die key-value (KV)-caches en modelgewichten verplaatst tussen het high-bandwidth memory van TPU’s, het RAM-geheugen van hostsystemen, opslag en het netwerk. Volgens het bedrijf verlaagt de bibliotheek de latentie bij KV-overdracht met meer dan 90% voor mixture-of-experts-modellen met 235 miljard tot 480 miljard parameters.
Waarom het ertoe doet
Ontwikkelaars kunnen de status van grote taalmodellen op TPU’s veel sneller verversen, waardoor de onderbreking tijdens inferentie of finetuning korter wordt.
