# llm‑d 1.0 voegt eigen beheerfuncties toe voor AI-inferentie

> IBM, Red Hat en partners brengen llm‑d versie 1.0 uit, met QoS, upgrades zonder downtime en cache-routing voor zelf gehoste grote modellen.

Oossa · 2026-10-20 · https://oossa.com/nl/llm-d-1-0-adds-in-house-controls-for-enterprise-ai-inference

IBM en zijn partners maakten op 20 oktober 2026 tijdens de PyTorch Conference versie 1.0 bekend van het open-sourceframework llm‑d. De update voegt kwaliteitsbeheer, upgrades zonder downtime en slimmere cache-routing toe, zodat bedrijven grote taalmodellen op hun eigen Kubernetes-clusters kunnen draaien zonder de dienst te overbelasten. Volgens IBM draaide een demo 3.000 codeeragents op zelf beheerde hardware, tegen vijf tot tien keer lagere kosten dan een gehost model. Het framework werkt met inferentie-engines zoals vLLM en SGLang.

## De feiten

- Versie 1.0 uitgebracht op 20 oktober 2026
- Demo: 3.000 agents draaiden tegen 5‑10× lagere kosten dan bij een gehoste dienst

## Waarom het ertoe doet

Bedrijven kunnen AI-workloads in eigen beheer houden, cloudkosten verlagen en voorkomen dat ze afhankelijk zijn van één aanbieder.

## Bronnen en referenties

1. [IBM-backed llm-d framework adds controls for running AI models in-house](https://siliconangle.com/2026/10/20/ibm-backed-llm-d-framework-adds-controls-for-running-ai-models-in-house/) – SiliconANGLE, 2026-10-20
2. [llm-d 1.0 hardens open-source AI inference for day 2 production operations](https://research.ibm.com/blog/llmd-1-0-is-ready-for-production-inference-serving) – IBM Research
3. [Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets](https://www.marktechpost.com/2026/10/20/llm-d-1-0-open-source-distributed-inference-stack/) – MarkTechPost, 2026-10-21

Laatst bijgewerkt: 2026-10-21