llm‑d 1.0 新增企业级 AI 推理管控功能

IBM 及其合作伙伴于 2026 年 10 月 20 日在 PyTorch Conference 上宣布推出开源 llm‑d 框架 1.0 版。此次更新新增服务质量（QoS）管控、零停机升级和更智能的缓存路由，帮助企业在自己的 Kubernetes 集群上运行大型语言模型，避免服务过载。IBM 表示，一项演示在自托管硬件上运行了 3,000 个编程智能体，成本比托管模型低 5 到 10 倍。该框架兼容 vLLM 和 SGLang 等推理引擎。