Google har släppt TPU Sync, ett C++-bibliotek med öppen källkod som flyttar nyckel-värde-cache (KV-cache) och modellvikter mellan TPUnas höghastighetsminne, värddatorns RAM, lagring och nätverket. Enligt företaget minskar biblioteket överföringslatensen för KV-cache med mer än 90 % i mixture-of-experts-modeller med mellan 235 miljarder och 480 miljarder parametrar.
Varför det spelar roll
Utvecklare kan uppdatera stora språkmodellers tillstånd på TPU:er betydligt snabbare, vilket minskar pauser vid inferens eller finjustering.
