Google выпустила TPU Sync — библиотеку с открытым исходным кодом на C++, которая переносит кэши ключей и значений (KV-кэши) и веса моделей между высокоскоростной памятью TPU, оперативной памятью хоста, хранилищем и сетью. По заявлению компании, библиотека более чем на 90% сокращает задержку переноса KV-кэша на моделях со смесью экспертов (MoE) с 235 до 480 миллиардов параметров.
Почему это важно
Разработчики смогут гораздо быстрее обновлять состояние больших языковых моделей на TPU, сокращая паузы при инференсе и дообучении.
