AWS добавила распределённое кэширование по ключу-значению (KV) в Amazon ElastiCache for Valkey. Теперь самостоятельно размещённые ИИ-модели могут использовать общий кэш контекста на нескольких GPU-серверах. По данным AWS, сервис может снизить расходы на инференс до 40%, а время до первого токена — то есть ожидание ответа модели — до 80%. Это максимальные заявленные AWS показатели, а не гарантированный результат для любой рабочей нагрузки.
В общем кэше хранится состояние модели, которое можно использовать повторно: другой сервер получает его, вместо того чтобы вычислять всё заново. Это может быть полезно, когда чат или агент передаёт один и тот же длинный контекст в нескольких последовательных запросах или когда запросы перенаправляются между серверами. AWS утверждает, что кэшированные данные могут храниться несколько дней и извлекаться за миллисекунды.
Как это работает
Кэш работает на узлах cache.i8ge.48xlarge в той же зоне доступности AWS, что и GPU-кластер; для передачи данных используется RDMA через Elastic Fabric Adapter. Требуется ElastiCache for Valkey версии 9.1 или новее. Подключить кэш к существующим развёртываниям vLLM, SGLang или TensorRT-LLM можно с помощью коннектора LMCache, изменив конфигурацию.
По словам AWS, кэш совместим с моделями с открытыми весами, дообученными и самостоятельно обученными моделями, которые поддерживаются движком инференса и LMCache. В документации AWS перечислены, в частности, семейства моделей Qwen, Kimi, GPT-OSS, DeepSeek, Gemma и GLM. Сервис доступен в 13 регионах: трёх в Северной Америке, трёх в Европе и семи в Азиатско-Тихоокеанском регионе.
Какие рабочие нагрузки могут выиграть?
По данным AWS, кэш лучше всего подходит для длительных сессий и диалогов с несколькими запросами, повторно используемого контекста и нагрузки, распределённой между множеством GPU-серверов. Среди примеров — агенты для написания кода, общие системные промпты, генерация с длинным контекстом и RAG. Польза может быть небольшой для коротких промптов, которые не используются повторно, задач вроде перевода или модерации, нагрузок, где основное время уходит на генерацию ответа, а также моделей диффузии.
Перед развёртыванием команды могут бесплатно воспользоваться инструментом с открытым исходным кодом KVTrace: он позволяет смоделировать долю попаданий в кэш, предполагаемую экономию и пороговую цену на основе записанного трафика vLLM или SGLang. AWS взимает почасовую плату за каждый узел кэша до удаления кластера; по заявлению компании, передача данных между GPU-хостами и кэшем в одной зоне доступности бесплатна. Фактическая цена узла зависит от актуальных тарифов AWS.
Почему это важно
Для команд, которые запускают многошаговые чаты или агентов для написания кода на собственных GPU-серверах, общий кэш может сократить повторные вычисления и помочь обслуживать больше запросов на имеющемся оборудовании. Заявленная AWS экономия — максимальная, поэтому командам стоит проверить эффект на собственном трафике и сравнить предполагаемую выгоду с почасовой стоимостью узлов кэша.