Oossa

AWS добавила общий KV-кэш для собственных ИИ-моделей

Amazon ElastiCache for Valkey позволяет передавать контекст модели между GPU-серверами. По данным AWS, это может снизить расходы на инференс до 40%, а время ожидания первого токена — до 80%.

Автор: Опубликовано Oossa: 2 мин чтения

sdl sanjaya · Unsplash

AWS добавила распределённое кэширование по ключу-значению (KV) в Amazon ElastiCache for Valkey. Теперь самостоятельно размещённые ИИ-модели могут использовать общий кэш контекста на нескольких GPU-серверах. По данным AWS, сервис может снизить расходы на инференс до 40%, а время до первого токена — то есть ожидание ответа модели — до 80%. Это максимальные заявленные AWS показатели, а не гарантированный результат для любой рабочей нагрузки.

В общем кэше хранится состояние модели, которое можно использовать повторно: другой сервер получает его, вместо того чтобы вычислять всё заново. Это может быть полезно, когда чат или агент передаёт один и тот же длинный контекст в нескольких последовательных запросах или когда запросы перенаправляются между серверами. AWS утверждает, что кэшированные данные могут храниться несколько дней и извлекаться за миллисекунды.

Как это работает

Кэш работает на узлах cache.i8ge.48xlarge в той же зоне доступности AWS, что и GPU-кластер; для передачи данных используется RDMA через Elastic Fabric Adapter. Требуется ElastiCache for Valkey версии 9.1 или новее. Подключить кэш к существующим развёртываниям vLLM, SGLang или TensorRT-LLM можно с помощью коннектора LMCache, изменив конфигурацию.

По словам AWS, кэш совместим с моделями с открытыми весами, дообученными и самостоятельно обученными моделями, которые поддерживаются движком инференса и LMCache. В документации AWS перечислены, в частности, семейства моделей Qwen, Kimi, GPT-OSS, DeepSeek, Gemma и GLM. Сервис доступен в 13 регионах: трёх в Северной Америке, трёх в Европе и семи в Азиатско-Тихоокеанском регионе.

Какие рабочие нагрузки могут выиграть?

По данным AWS, кэш лучше всего подходит для длительных сессий и диалогов с несколькими запросами, повторно используемого контекста и нагрузки, распределённой между множеством GPU-серверов. Среди примеров — агенты для написания кода, общие системные промпты, генерация с длинным контекстом и RAG. Польза может быть небольшой для коротких промптов, которые не используются повторно, задач вроде перевода или модерации, нагрузок, где основное время уходит на генерацию ответа, а также моделей диффузии.

Перед развёртыванием команды могут бесплатно воспользоваться инструментом с открытым исходным кодом KVTrace: он позволяет смоделировать долю попаданий в кэш, предполагаемую экономию и пороговую цену на основе записанного трафика vLLM или SGLang. AWS взимает почасовую плату за каждый узел кэша до удаления кластера; по заявлению компании, передача данных между GPU-хостами и кэшем в одной зоне доступности бесплатна. Фактическая цена узла зависит от актуальных тарифов AWS.

Почему это важно

Для команд, которые запускают многошаговые чаты или агентов для написания кода на собственных GPU-серверах, общий кэш может сократить повторные вычисления и помочь обслуживать больше запросов на имеющемся оборудовании. Заявленная AWS экономия — максимальная, поэтому командам стоит проверить эффект на собственном трафике и сравнить предполагаемую выгоду с почасовой стоимостью узлов кэша.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.