# llm‑d 1.0、企業向けAI推論の自社管理機能を追加

> IBM、Red Hatなどがllm‑dのバージョン 1.0を公開。QoS、無停止アップグレード、キャッシュルーティングに対応し、大規模モデルの自社運用を支援する。

Oossa · 2026-10-20 · https://oossa.com/ja/llm-d-1-0-adds-in-house-controls-for-enterprise-ai-inference

IBMと協力各社はOct 20 2026、PyTorch Conferenceでオープンソースのllm‑dフレームワークのバージョン 1.0を発表した。今回のアップデートでは、サービスに過剰な負荷をかけずに企業が自社のKubernetesクラスターで大規模言語モデルを運用できるよう、サービス品質（QoS）制御、無停止アップグレード、より高度なキャッシュルーティングを追加した。IBMによると、デモでは自社ハードウェア上で3,000のコーディングエージェントを実行し、ホスト型モデルに比べてコストを5〜10倍抑えた。llm‑dはvLLMやSGLangなどの推論エンジンに対応する。

## 事実

- バージョン 1.0をOct 20 2026に公開
- デモでは3,000のエージェントを、ホスト型サービスより5‑10×低いコストで実行

## なぜ重要か

企業はAIの処理を自社内にとどめ、クラウド費用を削減するとともに、単一プロバイダーへの依存を避けられる。

## 出典と参考資料

1. [IBM-backed llm-d framework adds controls for running AI models in-house](https://siliconangle.com/2026/10/20/ibm-backed-llm-d-framework-adds-controls-for-running-ai-models-in-house/) – SiliconANGLE, 2026-10-20
2. [llm-d 1.0 hardens open-source AI inference for day 2 production operations](https://research.ibm.com/blog/llmd-1-0-is-ready-for-production-inference-serving) – IBM Research
3. [Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets](https://www.marktechpost.com/2026/10/20/llm-d-1-0-open-source-distributed-inference-stack/) – MarkTechPost, 2026-10-21

最終更新: 2026-10-21