Google 发布了 TPU Sync，这是一款开源 C++ 库，可在 TPU 高带宽内存、主机 RAM、存储设备和网络之间传输键值（KV）缓存及模型权重。该公司表示，对于参数量从 235 billion 到 480 billion 的混合专家（MoE）模型，这款库可将 KV 传输延迟降低 90 % 以上。
为什么重要
开发者可以更快地在 TPU 上更新大型语言模型的状态，从而缩短推理或微调期间的暂停时间。
Google 开源 TPU Sync，加速 KV 缓存迁移
Google 推出的开源 C++ 库可将大型 MoE 模型的 KV 缓存传输延迟降低 90% 以上。
简讯作者： OossaOossa 发布日期: 1 分钟阅读
继续阅读
Oossa · 新闻简报
一周 AI，讲明白
每周一，用通俗的语言讲清值得知道的新闻。免费，无垃圾邮件。