# Valkey 9.2, AI 추론용 공유 캐시 추가

> 오픈소스 데이터 저장소 Valkey에 분산형 키-값 캐시가 추가됐다. 백업 시 메모리 사용량과 복제 트래픽, 대규모 정렬 집합의 부담을 줄이는 기능도 포함됐다.

Oossa · 2026-11-19 · https://oossa.com/ko/valkey-9-2-adds-shared-caching-for-ai-inference

Valkey가 버전 9.2의 정식 출시와 함께 AI 추론용 오픈소스 분산 키-값 캐시를 공개했다. 이 캐시를 사용하면 추론 엔진이 GPU 클러스터 전반에서 계산된 프롬프트와 대화 데이터를 재사용할 수 있다. 자체 관리형 오픈 웨이트 모델을 사용하는 팀은 LMCache를 통해 vLLM이나 SGLang에 연결할 수 있다.

Valkey는 이 캐시가 추론 비용을 최대 40%, 첫 토큰이 나오기까지 걸리는 시간을 최대 80% 줄일 수 있다고 밝혔다. 이번 릴리스에는 백업으로 인한 메모리 급증을 막는 포크리스 스냅샷 기능과, 회사 측 설명에 따르면 트래픽을 약 50%~65% 줄이는 복제 압축 기능도 추가됐다.

## 팩트

- 분산 캐시는 LMCache를 통해 vLLM, SGLang 등의 엔진에 연결된다.
- Valkey는 복제 압축으로 상시 트래픽을 약 50%~65% 줄일 수 있다고 밝혔다.

## 왜 중요한가

자체 GPU 클러스터에서 오픈 웨이트 모델을 운영하는 팀은 LMCache를 통해 추론 결과를 재사용해 볼 수 있다. 다만 제시된 절감 효과는 회사 측 주장으로, 모든 워크로드에서 보장되는 것은 아니다.

## 출처 및 참고 자료

1. [Valkey 9.2 Lowers Cost of AI Workloads On Existing Infrastructure Alongside New Distributed KV Caching Capability](https://www.prnewswire.com/news-releases/valkey-9-2-lowers-cost-of-ai-workloads-on-existing-infrastructure-alongside-new-distributed-kv-caching-capability-302945903.html) – PR Newswire RSS, 2026-11-19

최종 업데이트: 2026-11-19
