IBM och samarbetspartner presenterade version 1.0 av ramverket llm‑d med öppen källkod den 20 okt. 2026 på PyTorch Conference. Uppdateringen innehåller tjänstekvalitetskontroller, uppgraderingar utan driftstopp och smartare cachebaserad routning. Det gör att företag kan köra stora språkmodeller i egna Kubernetes-kluster utan att överbelasta tjänsten. IBM uppger att en demo körde 3 000 kodningsagenter på egen hårdvara till en kostnad som var fem till tio gånger lägre än för en driftad modell. Ramverket fungerar med inferensmotorer som vLLM och SGLang.
Varför det spelar roll
Företag kan behålla AI-arbetslaster internt, sänka molnkostnaderna och slippa vara beroende av en enda leverantör.
