O Google lançou o TPU Sync, uma biblioteca C++ de código aberto que transfere caches de chave-valor (KV) e pesos de modelos entre a memória de alta largura de banda das TPUs, a RAM do host, o armazenamento e a rede. A empresa afirma que a biblioteca reduz em mais de 90% a latência de transferência do cache KV em modelos de mistura de especialistas com 235 bilhões a 480 bilhões de parâmetros.
Por que importa
Os desenvolvedores podem atualizar o estado de grandes modelos de linguagem em TPUs muito mais rapidamente, reduzindo o tempo de pausa durante a inferência ou o ajuste fino.
