# llm‑d 1.0 ger företag egna verktyg för AI-inferens

> IBM, Red Hat och samarbetspartner släpper llm‑d version 1.0 med QoS, uppgraderingar utan driftstopp och cachebaserad routning för storskaliga modeller som körs lokalt.

Oossa · 2026-10-20 · https://oossa.com/sv/llm-d-1-0-adds-in-house-controls-for-enterprise-ai-inference

IBM och samarbetspartner presenterade version 1.0 av ramverket llm‑d med öppen källkod den 20 okt. 2026 på PyTorch Conference. Uppdateringen innehåller tjänstekvalitetskontroller, uppgraderingar utan driftstopp och smartare cachebaserad routning. Det gör att företag kan köra stora språkmodeller i egna Kubernetes-kluster utan att överbelasta tjänsten. IBM uppger att en demo körde 3 000 kodningsagenter på egen hårdvara till en kostnad som var fem till tio gånger lägre än för en driftad modell. Ramverket fungerar med inferensmotorer som vLLM och SGLang.

## Fakta

- Version 1.0 släpptes den 20 okt. 2026
- Demo: 3 000 agenter kördes till 5–10 gånger lägre kostnad än med en driftad tjänst

## Varför det spelar roll

Företag kan behålla AI-arbetslaster internt, sänka molnkostnaderna och slippa vara beroende av en enda leverantör.

## Källor och referenser

1. [IBM-backed llm-d framework adds controls for running AI models in-house](https://siliconangle.com/2026/10/20/ibm-backed-llm-d-framework-adds-controls-for-running-ai-models-in-house/) – SiliconANGLE, 2026-10-20
2. [llm-d 1.0 hardens open-source AI inference for day 2 production operations](https://research.ibm.com/blog/llmd-1-0-is-ready-for-production-inference-serving) – IBM Research
3. [Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets](https://www.marktechpost.com/2026/10/20/llm-d-1-0-open-source-distributed-inference-stack/) – MarkTechPost, 2026-10-21

Senast uppdaterad: 2026-10-21