# Google 开源 TPU Sync，加速 KV 缓存迁移

> Google 推出的开源 C++ 库可将大型 MoE 模型的 KV 缓存传输延迟降低 90% 以上。

Oossa · 2026-11-13 · https://oossa.com/zh/google-opens-tpu-sync-library-for-faster-kv-cache-moves

Google 发布了 TPU Sync，这是一款开源 C++ 库，可在 TPU 高带宽内存、主机 RAM、存储设备和网络之间传输键值（KV）缓存及模型权重。该公司表示，对于参数量从 235 billion 到 480 billion 的混合专家（MoE）模型，这款库可将 KV 传输延迟降低 90 % 以上。

## 事实

- Google 于 2026-11-13 发布 TPU Sync（“Fri Nov 13 2026 11:32:26 GMT+0100”）。
- 据称，参数量为 235B‑480B 的 MoE 模型延迟可降低 >90 %。

## 为什么重要

开发者可以更快地在 TPU 上更新大型语言模型的状态，从而缩短推理或微调期间的暂停时间。

## 来源与参考

1. [Google Releases TPU Sync: Open-Source KV Cache Transfer for TPUs](https://www.marktechpost.com/2026/11/13/google-tpu-sync-kv-cache-transfer-library/) – MarkTechPost, 2026-11-13

最后更新: 2026-11-13