Google, KV 캐시 전송 가속 라이브러리 TPU Sync 공개

Google의 오픈소스 C++ 라이브러리는 대규모 MoE 모델에서 KV 캐시 전송 지연을 90% 이상 줄인다.

짧은 소식작성: OossaOossa 게시일: 2026년 11월 13일 오전 11:06 UTC1 분 읽기

Google이 TPU의 고대역폭 메모리, 호스트 RAM, 스토리지, 네트워크 간에 키-값(KV) 캐시와 모델 가중치를 옮기는 오픈소스 C++ 라이브러리 TPU Sync를 공개했다. 회사는 이 라이브러리를 사용하면 매개변수가 235 billion~480 billion인 전문가 혼합(MoE) 모델에서 KV 캐시 전송 지연을 90% 이상 줄일 수 있다고 밝혔다.