# AWS introduce la cache KV condivisa per modelli AI self-hosted

> Amazon ElastiCache for Valkey permette di condividere il contesto dei modelli tra server GPU. AWS afferma che può ridurre i costi di inferenza fino al 40% e l’attesa prima del primo token fino all’80%.

Oossa · 2026-11-19 · https://oossa.com/it/aws-adds-shared-kv-caching-for-self-hosted-ai-models

AWS ha aggiunto la cache distribuita key-value (KV) ad Amazon ElastiCache for Valkey, consentendo ai modelli AI self-hosted di condividere il contesto memorizzato nella cache tra server GPU. Secondo AWS, il servizio può ridurre i costi di inferenza fino al 40% e il tempo necessario per generare il primo token — ovvero l’attesa prima che un modello inizi a rispondere — fino all’80%. Si tratta delle riduzioni massime dichiarate da AWS, non di risultati garantiti per ogni carico di lavoro.

La cache condivisa memorizza lo stato del modello che può essere riutilizzato, così un altro server può recuperarlo anziché ricalcolarlo. Può essere utile quando una chat o un agente invia lo stesso contesto esteso in più turni, o quando le richieste passano da un server all’altro. AWS afferma che lo stato memorizzato può restare disponibile per giorni ed essere recuperato in millisecondi.

## Come funziona

La cache viene eseguita su nodi cache.i8ge.48xlarge nella stessa AWS Availability Zone del parco di GPU e usa RDMA su Elastic Fabric Adapter per trasferire i dati. Richiede ElastiCache for Valkey 9.1 o versioni successive. I clienti possono collegarla alle installazioni esistenti di vLLM, SGLang o TensorRT-LLM tramite il connettore LMCache, modificando la configurazione.

AWS afferma che il servizio è compatibile con modelli open-weight, ottimizzati con fine-tuning e addestrati autonomamente, purché supportati dal motore di inferenza e da LMCache. La documentazione di AWS cita, tra le famiglie di modelli, Qwen, Kimi, GPT-OSS, DeepSeek, Gemma e GLM. Il servizio è disponibile in 13 regioni: tre in Nord America, tre in Europa e sette in Asia Pacifico.

## Quali carichi di lavoro possono beneficiarne?

Secondo AWS, la cache è più adatta a sessioni lunghe o con più turni, a contesti riutilizzati e a traffico distribuito su molti server GPU. Tra gli esempi figurano gli agenti di programmazione, i prompt di sistema condivisi e la generazione con contesto esteso o aumentata dal recupero di informazioni. Può offrire pochi vantaggi con prompt brevi che non vengono riutilizzati, attività come traduzione o moderazione, carichi di lavoro dominati dalla generazione di output e modelli di diffusione.

Prima della distribuzione, i team possono usare gratuitamente lo strumento open source KVTrace per simulare i tassi di cache hit, i risparmi stimati e il prezzo di pareggio, sulla base del traffico registrato con vLLM o SGLang. AWS applica una tariffa oraria per ogni nodo cache fino all’eliminazione del cluster; afferma inoltre che il trasferimento dei dati tra gli host GPU e la cache nella stessa Availability Zone è gratuito. Il prezzo effettivo del nodo dipende dalle tariffe aggiornate di AWS.

## I fatti

- La cache KV distribuita richiede ElastiCache for Valkey 9.1 o versioni successive e nodi cache.i8ge.48xlarge.
- AWS indica la disponibilità in 13 regioni tra Nord America, Europa e Asia Pacifico.
- Il connettore LMCache consente l’integrazione con vLLM, SGLang e TensorRT-LLM.
- AWS afferma che KVTrace può stimare, prima della distribuzione, i tassi di cache hit, i risparmi e il prezzo di pareggio.

## Perché conta

Per i team che eseguono chat con più turni o agenti di programmazione sui propri server GPU, la cache condivisa potrebbe ridurre i calcoli ripetuti e aiutare l’hardware esistente a gestire più richieste. Le cifre sui risparmi indicate da AWS sono valori massimi: i team dovranno quindi testare il proprio traffico e confrontare i risparmi stimati con il costo orario dei nodi cache.

## Fonti e riferimenti

1. [Amazon ElastiCache now supports distributed KV caching for self-hosted LLM inference](https://aws.amazon.com/about-aws/whats-new/2026/11/announcing-distributed-kv-caching-for-self-hosted-llms-with-amazon-elasticache/) – AWS, 2026-11-18
2. [Amazon Web Services (AWS)](https://docs.aws.amazon.com/AmazonElastiCache/latest/dg/distributed-kv-caching.html?utm_source=openai) – Amazon Web Services (AWS)

Ultimo aggiornamento: 2026-11-19
