Oossa

Valkey 9.2, AI 추론용 공유 캐시 추가

오픈소스 데이터 저장소 Valkey에 분산형 키-값 캐시가 추가됐다. 백업 시 메모리 사용량과 복제 트래픽, 대규모 정렬 집합의 부담을 줄이는 기능도 포함됐다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

Valkey가 버전 9.2의 정식 출시와 함께 AI 추론용 오픈소스 분산 키-값 캐시를 공개했다. 이 캐시를 사용하면 추론 엔진이 GPU 클러스터 전반에서 계산된 프롬프트와 대화 데이터를 재사용할 수 있다. 자체 관리형 오픈 웨이트 모델을 사용하는 팀은 LMCache를 통해 vLLM이나 SGLang에 연결할 수 있다.

Valkey는 이 캐시가 추론 비용을 최대 40%, 첫 토큰이 나오기까지 걸리는 시간을 최대 80% 줄일 수 있다고 밝혔다. 이번 릴리스에는 백업으로 인한 메모리 급증을 막는 포크리스 스냅샷 기능과, 회사 측 설명에 따르면 트래픽을 약 50%~65% 줄이는 복제 압축 기능도 추가됐다.

왜 중요한가

자체 GPU 클러스터에서 오픈 웨이트 모델을 운영하는 팀은 LMCache를 통해 추론 결과를 재사용해 볼 수 있다. 다만 제시된 절감 효과는 회사 측 주장으로, 모든 워크로드에서 보장되는 것은 아니다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.