# AWS, 자체 호스팅 AI 모델용 공유 KV 캐시 추가

> Amazon ElastiCache for Valkey를 통해 GPU 서버 간 모델 컨텍스트를 공유할 수 있다. AWS는 추론 비용을 최대 40%, 첫 토큰이 나오기까지 걸리는 시간을 최대 80% 줄일 수 있다고 밝혔다.

Oossa · 2026-11-19 · https://oossa.com/ko/aws-adds-shared-kv-caching-for-self-hosted-ai-models

AWS가 Amazon ElastiCache for Valkey에 분산형 키-값(KV) 캐시 기능을 추가했다. 자체 호스팅 AI 모델이 GPU 서버 간에 캐시된 컨텍스트를 공유할 수 있게 해주는 기능이다. AWS는 이 서비스로 추론 비용을 최대 40%, 모델이 응답을 시작하기 전까지 기다리는 시간인 첫 토큰 생성 시간을 최대 80% 줄일 수 있다고 밝혔다. 이는 AWS가 보고한 최대 감소폭이며, 모든 워크로드에서 보장되는 결과는 아니다.

공유 캐시에는 재사용할 수 있는 모델 상태가 저장돼, 다른 서버가 이를 다시 계산하지 않고 가져다 쓸 수 있다. 채팅이나 에이전트가 여러 차례 대화에 걸쳐 같은 긴 컨텍스트를 보내거나 요청이 서버 간에 이동할 때 도움이 될 수 있다. AWS에 따르면 캐시된 상태는 며칠간 유지할 수 있고 수 밀리초 만에 불러올 수 있다.

## 작동 방식

캐시는 GPU 서버와 같은 AWS 가용 영역의 cache.i8ge.48xlarge 노드에서 실행되며, Elastic Fabric Adapter를 통한 RDMA로 데이터를 전송한다. ElastiCache for Valkey 9.1 이상이 필요하다. 고객은 설정을 변경하고 LMCache 커넥터를 사용해 기존 vLLM, SGLang 또는 TensorRT-LLM 배포 환경에 연결할 수 있다.

AWS는 추론 엔진과 LMCache가 지원하는 오픈 웨이트, 파인튜닝, 자체 학습 모델에서 이 기능을 사용할 수 있다고 밝혔다. 문서에는 Qwen, Kimi, GPT-OSS, DeepSeek, Gemma, GLM 등 모델 계열이 명시돼 있다. 이 서비스는 북미 3곳, 유럽 3곳, 아시아 태평양 7곳 등 13개 리전에서 이용할 수 있다.

## 어떤 워크로드에 도움이 될까?

AWS는 장시간 이어지는 세션이나 여러 차례 대화, 반복되는 컨텍스트, 다수의 GPU 서버에 분산된 트래픽에 캐시가 가장 적합하다고 밝혔다. 코딩 에이전트, 공유 시스템 프롬프트, 긴 컨텍스트 처리나 검색 증강 생성 등이 활용 사례다. 재사용되지 않는 짧은 프롬프트, 번역이나 콘텐츠 조정 같은 작업, 출력 생성이 대부분을 차지하는 워크로드, 확산 모델에서는 효과가 크지 않을 수 있다.

배포 전에는 오픈소스 도구 KVTrace를 무료로 사용해, 기록된 vLLM 또는 SGLang 트래픽을 바탕으로 캐시 적중률과 예상 절감액, 손익분기 가격을 시뮬레이션할 수 있다. AWS는 클러스터를 삭제할 때까지 캐시 노드마다 시간 단위로 요금을 부과한다. 같은 가용 영역에 있는 GPU 호스트와 캐시 간 데이터 전송은 무료라고 밝혔다. 실제 노드 가격은 AWS의 현재 요금에 따라 달라진다.

## 팩트

- 분산형 KV 캐시를 사용하려면 ElastiCache for Valkey 9.1 이상과 cache.i8ge.48xlarge 노드가 필요하다.
- AWS는 북미, 유럽, 아시아 태평양에 걸친 13개 리전에서 서비스를 제공한다고 밝혔다.
- LMCache 커넥터는 vLLM, SGLang, TensorRT-LLM과의 연동을 지원한다.
- AWS에 따르면 KVTrace를 사용하면 배포 전에 캐시 적중률, 절감액, 손익분기 가격을 추정할 수 있다.

## 왜 중요한가

자체 GPU 서버에서 여러 차례 이어지는 채팅이나 코딩 에이전트를 운영하는 팀은 공유 캐시를 통해 반복 계산을 줄이고 기존 하드웨어로 더 많은 요청을 처리할 수 있다. 다만 AWS가 제시한 절감 효과는 최대치이므로, 각 팀은 실제 트래픽으로 효과를 시험하고 예상 절감액을 시간당 캐시 노드 비용과 비교해야 한다.

## 출처 및 참고 자료

1. [Amazon ElastiCache now supports distributed KV caching for self-hosted LLM inference](https://aws.amazon.com/about-aws/whats-new/2026/11/announcing-distributed-kv-caching-for-self-hosted-llms-with-amazon-elasticache/) – AWS, 2026-11-18
2. [Amazon Web Services (AWS)](https://docs.aws.amazon.com/AmazonElastiCache/latest/dg/distributed-kv-caching.html?utm_source=openai) – Amazon Web Services (AWS)

최종 업데이트: 2026-11-19
