# llm‑d 1.0 bringt eigene Steuerung für KI-Inferenz in Unternehmen

> IBM, Red Hat und Partner veröffentlichen llm‑d Version 1.0 mit QoS, Upgrades ohne Ausfallzeiten und Cache-Routing für selbst gehostete große Modelle.

Oossa · 2026-10-20 · https://oossa.com/de/llm-d-1-0-adds-in-house-controls-for-enterprise-ai-inference

IBM und seine Partner haben am Oct 20 2026 auf der PyTorch Conference Version 1.0 des Open-Source-Frameworks llm‑d vorgestellt. Das Update bietet Quality-of-Service-Steuerung, Upgrades ohne Ausfallzeiten und intelligenteres Cache-Routing. So können Unternehmen große Sprachmodelle auf ihren eigenen Kubernetes-Clustern betreiben, ohne den Dienst zu überlasten. IBM zufolge führte eine Demo 3,000 Coding-Agenten auf selbst gehosteter Hardware aus – zu fünf- bis zehnmal geringeren Kosten als bei einem gehosteten Modell. Das Framework ist mit Inferenz-Engines wie vLLM und SGLang kompatibel.

## Die Fakten

- Version 1.0 veröffentlicht am Oct 20 2026
- Demo: 3,000 Agenten liefen zu 5‑10× geringeren Kosten als bei einem gehosteten Dienst

## Warum es wichtig ist

Unternehmen können KI-Workloads intern betreiben, Cloud-Kosten senken und die Abhängigkeit von einem einzelnen Anbieter vermeiden.

## Quellen und Referenzen

1. [IBM-backed llm-d framework adds controls for running AI models in-house](https://siliconangle.com/2026/10/20/ibm-backed-llm-d-framework-adds-controls-for-running-ai-models-in-house/) – SiliconANGLE, 2026-10-20
2. [llm-d 1.0 hardens open-source AI inference for day 2 production operations](https://research.ibm.com/blog/llmd-1-0-is-ready-for-production-inference-serving) – IBM Research
3. [Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets](https://www.marktechpost.com/2026/10/20/llm-d-1-0-open-source-distributed-inference-stack/) – MarkTechPost, 2026-10-21

Zuletzt aktualisiert: 2026-10-21