# AWS añade caché KV compartida para modelos de IA propios

> Amazon ElastiCache for Valkey permite compartir el contexto de los modelos entre servidores con GPU. AWS afirma que puede reducir hasta un 40% los costos de inferencia y hasta un 80% la espera hasta el primer token.

Oossa · 2026-11-19 · https://oossa.com/es/aws-adds-shared-kv-caching-for-self-hosted-ai-models

AWS ha añadido caché distribuida de clave-valor (KV) a Amazon ElastiCache for Valkey, lo que permite que los modelos de IA alojados por los propios clientes compartan el contexto almacenado entre servidores con GPU. AWS afirma que el servicio puede reducir hasta un 40% los costos de inferencia y hasta un 80% el tiempo hasta el primer token, es decir, la espera antes de que el modelo empiece a responder. Esas son las reducciones máximas que reporta AWS, no resultados garantizados para todas las cargas de trabajo.

La caché compartida almacena estados reutilizables del modelo para que otro servidor pueda recuperarlos en lugar de volver a calcularlos. Esto puede ser útil cuando un chat o agente envía el mismo contexto extenso en varios turnos o cuando las solicitudes pasan de un servidor a otro. AWS afirma que el estado almacenado puede conservarse durante días y recuperarse en milisegundos.

## Cómo funciona

La caché se ejecuta en nodos cache.i8ge.48xlarge, en la misma zona de disponibilidad de AWS que el conjunto de servidores con GPU, y usa RDMA a través de Elastic Fabric Adapter para transferir datos. Requiere ElastiCache for Valkey 9.1 o posterior. Los clientes pueden conectarla a implementaciones existentes de vLLM, SGLang o TensorRT-LLM mediante el conector LMCache, con un cambio de configuración.

AWS afirma que es compatible con modelos de pesos abiertos, ajustados y entrenados por los propios clientes, siempre que sean compatibles con el motor de inferencia y LMCache. En su documentación, AWS menciona familias de modelos como Qwen, Kimi, GPT-OSS, DeepSeek, Gemma y GLM. El servicio está disponible en 13 regiones: tres en Norteamérica, tres en Europa y siete en Asia-Pacífico.

## ¿Qué cargas de trabajo pueden beneficiarse?

AWS afirma que la caché es más adecuada para sesiones prolongadas o de varios turnos, contextos que se repiten y tráfico repartido entre muchos servidores con GPU. Algunos ejemplos son los agentes de programación, las instrucciones de sistema compartidas y la generación con contexto extenso o aumentada con recuperación. Puede aportar poco en el caso de instrucciones breves que no se reutilizan, tareas como traducción o moderación, cargas de trabajo centradas sobre todo en generar respuestas y modelos de difusión.

Antes de implementar la solución, los equipos pueden usar gratuitamente la herramienta de código abierto KVTrace para simular las tasas de aciertos de la caché, el ahorro estimado y el precio de equilibrio a partir de tráfico registrado de vLLM o SGLang. AWS cobra por hora por cada nodo de caché hasta que se elimina el clúster; según la empresa, la transferencia de datos entre los servidores con GPU y la caché dentro de la misma zona de disponibilidad es gratuita. El precio real del nodo depende de las tarifas vigentes de AWS.

## Los hechos

- La caché KV distribuida requiere ElastiCache for Valkey 9.1 o posterior y nodos cache.i8ge.48xlarge.
- AWS indica que el servicio está disponible en 13 regiones de Norteamérica, Europa y Asia-Pacífico.
- El conector LMCache permite integrarlo con vLLM, SGLang y TensorRT-LLM.
- AWS afirma que KVTrace permite estimar las tasas de aciertos de la caché, el ahorro y el precio de equilibrio antes de la implementación.

## Por qué importa

Para los equipos que ejecutan chats de varios turnos o agentes de programación en sus propios servidores con GPU, la caché compartida podría reducir los cálculos repetidos y ayudar a que el hardware existente atienda más solicitudes. Las cifras de ahorro de AWS son máximos anunciados, por lo que los equipos deben probar su propio tráfico y comparar el ahorro estimado con el costo por hora de los nodos de caché.

## Fuentes y referencias

1. [Amazon ElastiCache now supports distributed KV caching for self-hosted LLM inference](https://aws.amazon.com/about-aws/whats-new/2026/11/announcing-distributed-kv-caching-for-self-hosted-llms-with-amazon-elasticache/) – AWS, 2026-11-18
2. [Amazon Web Services (AWS)](https://docs.aws.amazon.com/AmazonElastiCache/latest/dg/distributed-kv-caching.html?utm_source=openai) – Amazon Web Services (AWS)

Última actualización: 2026-11-19
