IBM en zijn partners maakten op 20 oktober 2026 tijdens de PyTorch Conference versie 1.0 bekend van het open-sourceframework llm‑d. De update voegt kwaliteitsbeheer, upgrades zonder downtime en slimmere cache-routing toe, zodat bedrijven grote taalmodellen op hun eigen Kubernetes-clusters kunnen draaien zonder de dienst te overbelasten. Volgens IBM draaide een demo 3.000 codeeragents op zelf beheerde hardware, tegen vijf tot tien keer lagere kosten dan een gehost model. Het framework werkt met inferentie-engines zoals vLLM en SGLang.
Waarom het ertoe doet
Bedrijven kunnen AI-workloads in eigen beheer houden, cloudkosten verlagen en voorkomen dat ze afhankelijk zijn van één aanbieder.
