# AWS добавила общий KV-кэш для собственных ИИ-моделей

> Amazon ElastiCache for Valkey позволяет передавать контекст модели между GPU-серверами. По данным AWS, это может снизить расходы на инференс до 40%, а время ожидания первого токена — до 80%.

Oossa · 2026-11-19 · https://oossa.com/ru/aws-adds-shared-kv-caching-for-self-hosted-ai-models

AWS добавила распределённое кэширование по ключу-значению (KV) в Amazon ElastiCache for Valkey. Теперь самостоятельно размещённые ИИ-модели могут использовать общий кэш контекста на нескольких GPU-серверах. По данным AWS, сервис может снизить расходы на инференс до 40%, а время до первого токена — то есть ожидание ответа модели — до 80%. Это максимальные заявленные AWS показатели, а не гарантированный результат для любой рабочей нагрузки.

В общем кэше хранится состояние модели, которое можно использовать повторно: другой сервер получает его, вместо того чтобы вычислять всё заново. Это может быть полезно, когда чат или агент передаёт один и тот же длинный контекст в нескольких последовательных запросах или когда запросы перенаправляются между серверами. AWS утверждает, что кэшированные данные могут храниться несколько дней и извлекаться за миллисекунды.

## Как это работает

Кэш работает на узлах cache.i8ge.48xlarge в той же зоне доступности AWS, что и GPU-кластер; для передачи данных используется RDMA через Elastic Fabric Adapter. Требуется ElastiCache for Valkey версии 9.1 или новее. Подключить кэш к существующим развёртываниям vLLM, SGLang или TensorRT-LLM можно с помощью коннектора LMCache, изменив конфигурацию.

По словам AWS, кэш совместим с моделями с открытыми весами, дообученными и самостоятельно обученными моделями, которые поддерживаются движком инференса и LMCache. В документации AWS перечислены, в частности, семейства моделей Qwen, Kimi, GPT-OSS, DeepSeek, Gemma и GLM. Сервис доступен в 13 регионах: трёх в Северной Америке, трёх в Европе и семи в Азиатско-Тихоокеанском регионе.

## Какие рабочие нагрузки могут выиграть?

По данным AWS, кэш лучше всего подходит для длительных сессий и диалогов с несколькими запросами, повторно используемого контекста и нагрузки, распределённой между множеством GPU-серверов. Среди примеров — агенты для написания кода, общие системные промпты, генерация с длинным контекстом и RAG. Польза может быть небольшой для коротких промптов, которые не используются повторно, задач вроде перевода или модерации, нагрузок, где основное время уходит на генерацию ответа, а также моделей диффузии.

Перед развёртыванием команды могут бесплатно воспользоваться инструментом с открытым исходным кодом KVTrace: он позволяет смоделировать долю попаданий в кэш, предполагаемую экономию и пороговую цену на основе записанного трафика vLLM или SGLang. AWS взимает почасовую плату за каждый узел кэша до удаления кластера; по заявлению компании, передача данных между GPU-хостами и кэшем в одной зоне доступности бесплатна. Фактическая цена узла зависит от актуальных тарифов AWS.

## Факты

- Для распределённого KV-кэширования нужны ElastiCache for Valkey версии 9.1 или новее и узлы cache.i8ge.48xlarge.
- AWS сообщает о доступности сервиса в 13 регионах Северной Америки, Европы и Азиатско-Тихоокеанского региона.
- Коннектор LMCache позволяет интегрировать кэш с vLLM, SGLang и TensorRT-LLM.
- По данным AWS, KVTrace позволяет до развёртывания оценить долю попаданий в кэш, экономию и пороговую цену.

## Почему это важно

Для команд, которые запускают многошаговые чаты или агентов для написания кода на собственных GPU-серверах, общий кэш может сократить повторные вычисления и помочь обслуживать больше запросов на имеющемся оборудовании. Заявленная AWS экономия — максимальная, поэтому командам стоит проверить эффект на собственном трафике и сравнить предполагаемую выгоду с почасовой стоимостью узлов кэша.

## Источники и ссылки

1. [Amazon ElastiCache now supports distributed KV caching for self-hosted LLM inference](https://aws.amazon.com/about-aws/whats-new/2026/11/announcing-distributed-kv-caching-for-self-hosted-llms-with-amazon-elasticache/) – AWS, 2026-11-18
2. [Amazon Web Services (AWS)](https://docs.aws.amazon.com/AmazonElastiCache/latest/dg/distributed-kv-caching.html?utm_source=openai) – Amazon Web Services (AWS)

Обновлено: 2026-11-19
