IBM und seine Partner haben am Oct 20 2026 auf der PyTorch Conference Version 1.0 des Open-Source-Frameworks llm‑d vorgestellt. Das Update bietet Quality-of-Service-Steuerung, Upgrades ohne Ausfallzeiten und intelligenteres Cache-Routing. So können Unternehmen große Sprachmodelle auf ihren eigenen Kubernetes-Clustern betreiben, ohne den Dienst zu überlasten. IBM zufolge führte eine Demo 3,000 Coding-Agenten auf selbst gehosteter Hardware aus – zu fünf- bis zehnmal geringeren Kosten als bei einem gehosteten Modell. Das Framework ist mit Inferenz-Engines wie vLLM und SGLang kompatibel.
Warum es wichtig ist
Unternehmen können KI-Workloads intern betreiben, Cloud-Kosten senken und die Abhängigkeit von einem einzelnen Anbieter vermeiden.
