Google lanzó TPU Sync, una biblioteca C++ de código abierto que mueve cachés de clave-valor (KV) y pesos de modelos entre la memoria de alto ancho de banda de las TPU, la RAM del host, el almacenamiento y la red. La compañía afirma que la biblioteca reduce más del 90 % la latencia de transferencia de KV en modelos de mezcla de expertos (MoE) de entre 235 mil millones y 480 mil millones de parámetros.
Por qué importa
Los desarrolladores pueden actualizar mucho más rápido el estado de los modelos de lenguaje grandes en las TPU, lo que reduce las pausas durante la inferencia o el ajuste fino.
