Oossa

AWS adiciona cache KV compartilhado para modelos de IA próprios

O Amazon ElastiCache for Valkey pode compartilhar o contexto dos modelos entre servidores com GPU. Segundo a AWS, o serviço pode reduzir os custos de inferência em até 40% e o tempo até o primeiro token em até 80%.

Por Publicado pelo Oossa: 2 min de leitura

sdl sanjaya · Unsplash

A AWS adicionou cache distribuído de chave-valor (KV) ao Amazon ElastiCache for Valkey, permitindo que modelos de IA hospedados pelos próprios clientes compartilhem contexto em cache entre servidores com GPU. A empresa afirma que o serviço pode reduzir os custos de inferência em até 40% e o tempo até o primeiro token — a espera até o modelo começar a responder — em até 80%. Esses são os maiores índices de redução divulgados pela AWS, não resultados garantidos para todas as cargas de trabalho.

O cache compartilhado armazena o estado reutilizável do modelo para que outro servidor possa aproveitá-lo, em vez de calculá-lo novamente. Isso pode ajudar quando um chat ou agente envia o mesmo contexto extenso em várias interações ou quando as solicitações passam de um servidor para outro. Segundo a AWS, o estado em cache pode ser mantido por dias e recuperado em milissegundos.

Como funciona

O cache é executado em nós cache.i8ge.48xlarge na mesma Zona de Disponibilidade da AWS que o conjunto de GPUs, usando RDMA por meio do Elastic Fabric Adapter para transferir dados. É necessário usar o ElastiCache for Valkey 9.1 ou posterior. Os clientes podem conectá-lo a implantações existentes de vLLM, SGLang ou TensorRT-LLM pelo conector LMCache, com uma alteração de configuração.

Segundo a AWS, o serviço funciona com modelos de pesos abertos, ajustados e treinados pelos próprios clientes, desde que sejam compatíveis com o mecanismo de inferência e o LMCache. A documentação da empresa cita famílias de modelos como Qwen, Kimi, GPT-OSS, DeepSeek, Gemma e GLM. O serviço está disponível em 13 regiões: três na América do Norte, três na Europa e sete na Ásia-Pacífico.

Quais cargas de trabalho podem se beneficiar?

Segundo a AWS, o cache é mais indicado para sessões longas ou com várias interações, contextos repetidos e tráfego distribuído entre muitos servidores com GPU. Entre os exemplos estão agentes de programação, prompts de sistema compartilhados e geração com contexto longo ou aumentada por recuperação. O benefício pode ser pequeno para prompts curtos que não são reutilizados, tarefas como tradução ou moderação, cargas de trabalho concentradas na geração de saídas e modelos de difusão.

Antes da implantação, as equipes podem usar gratuitamente a ferramenta de código aberto KVTrace para simular taxas de acerto do cache, economias estimadas e o preço de equilíbrio, com base em tráfego registrado de vLLM ou SGLang. A AWS cobra por hora por cada nó de cache até que o cluster seja excluído; a empresa afirma que a transferência de dados entre os hosts com GPU e o cache na mesma Zona de Disponibilidade é gratuita. O preço efetivo do nó depende dos valores vigentes da AWS.

Por que importa

Para equipes que executam chats com várias interações ou agentes de programação nos próprios servidores com GPU, o cache compartilhado pode reduzir cálculos repetidos e ajudar o hardware existente a atender mais solicitações. Os números de economia divulgados pela AWS são máximos, então as equipes precisam testar o próprio tráfego e comparar a economia estimada com o custo por hora dos nós de cache.

Este artigo foi útil?
Compartilhar

Leia a seguir

Oossa · Newsletter

A semana em IA, explicada

Toda segunda-feira: as notícias que valem a pena, em linguagem simples. Grátis, sem spam.