# llm‑d 1.0 porta controlli interni all’inferenza AI aziendale

> IBM, Red Hat e i partner rilasciano llm‑d versione 1.0, con QoS, aggiornamenti senza interruzioni e instradamento intelligente delle cache per i modelli di grandi dimensioni ospitati in proprio.

Oossa · 2026-10-20 · https://oossa.com/it/llm-d-1-0-adds-in-house-controls-for-enterprise-ai-inference

IBM e i suoi collaboratori hanno annunciato la versione 1.0 del framework open source llm‑d il 20 ottobre 2026, in occasione della PyTorch Conference. L’aggiornamento introduce controlli della qualità del servizio, aggiornamenti senza interruzioni e un instradamento più intelligente delle cache, così che le aziende possano eseguire modelli linguistici di grandi dimensioni sui propri cluster Kubernetes senza sovraccaricare il servizio. IBM ha dichiarato che una dimostrazione ha eseguito 3.000 agenti di programmazione su hardware gestito internamente, a un costo da cinque a dieci volte inferiore rispetto a un modello ospitato. Il framework è compatibile con motori di inferenza come vLLM e SGLang.

## I fatti

- Versione 1.0 rilasciata il 20 ottobre 2026
- Dimostrazione: 3.000 agenti eseguiti a un costo 5‑10× inferiore rispetto a un servizio ospitato

## Perché conta

Le aziende possono mantenere i carichi di lavoro AI al proprio interno, riducendo i costi del cloud ed evitando di dipendere da un unico fornitore.

## Fonti e riferimenti

1. [IBM-backed llm-d framework adds controls for running AI models in-house](https://siliconangle.com/2026/10/20/ibm-backed-llm-d-framework-adds-controls-for-running-ai-models-in-house/) – SiliconANGLE, 2026-10-20
2. [llm-d 1.0 hardens open-source AI inference for day 2 production operations](https://research.ibm.com/blog/llmd-1-0-is-ready-for-production-inference-serving) – IBM Research
3. [Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets](https://www.marktechpost.com/2026/10/20/llm-d-1-0-open-source-distributed-inference-stack/) – MarkTechPost, 2026-10-21

Ultimo aggiornamento: 2026-10-21