# llm‑d 1.0 新增企业级 AI 推理管控功能

> IBM、Red Hat 及合作伙伴发布 llm‑d 1.0，新增 QoS、零停机升级和缓存路由功能，支持企业自托管大型模型。

Oossa · 2026-10-20 · https://oossa.com/zh/llm-d-1-0-adds-in-house-controls-for-enterprise-ai-inference

IBM 及其合作伙伴于 2026 年 10 月 20 日在 PyTorch Conference 上宣布推出开源 llm‑d 框架 1.0 版。此次更新新增服务质量（QoS）管控、零停机升级和更智能的缓存路由，帮助企业在自己的 Kubernetes 集群上运行大型语言模型，避免服务过载。IBM 表示，一项演示在自托管硬件上运行了 3,000 个编程智能体，成本比托管模型低 5 到 10 倍。该框架兼容 vLLM 和 SGLang 等推理引擎。

## 事实

- 1.0 版于 2026 年 10 月 20 日发布
- 演示运行了 3,000 个智能体，成本比托管服务低 5–10 倍

## 为什么重要

企业可以将 AI 工作负载留在内部，降低云成本，并避免依赖单一供应商。

## 来源与参考

1. [IBM-backed llm-d framework adds controls for running AI models in-house](https://siliconangle.com/2026/10/20/ibm-backed-llm-d-framework-adds-controls-for-running-ai-models-in-house/) – SiliconANGLE, 2026-10-20
2. [llm-d 1.0 hardens open-source AI inference for day 2 production operations](https://research.ibm.com/blog/llmd-1-0-is-ready-for-production-inference-serving) – IBM Research
3. [Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets](https://www.marktechpost.com/2026/10/20/llm-d-1-0-open-source-distributed-inference-stack/) – MarkTechPost, 2026-10-21

最后更新: 2026-10-21