Valkey가 버전 9.2의 정식 출시와 함께 AI 추론용 오픈소스 분산 키-값 캐시를 공개했다. 이 캐시를 사용하면 추론 엔진이 GPU 클러스터 전반에서 계산된 프롬프트와 대화 데이터를 재사용할 수 있다. 자체 관리형 오픈 웨이트 모델을 사용하는 팀은 LMCache를 통해 vLLM이나 SGLang에 연결할 수 있다.
Valkey는 이 캐시가 추론 비용을 최대 40%, 첫 토큰이 나오기까지 걸리는 시간을 최대 80% 줄일 수 있다고 밝혔다. 이번 릴리스에는 백업으로 인한 메모리 급증을 막는 포크리스 스냅샷 기능과, 회사 측 설명에 따르면 트래픽을 약 50%~65% 줄이는 복제 압축 기능도 추가됐다.
왜 중요한가
자체 GPU 클러스터에서 오픈 웨이트 모델을 운영하는 팀은 LMCache를 통해 추론 결과를 재사용해 볼 수 있다. 다만 제시된 절감 효과는 회사 측 주장으로, 모든 워크로드에서 보장되는 것은 아니다.