llm‑d 1.0、企業向けAI推論の自社管理機能を追加

IBMと協力各社はOct 20 2026、PyTorch Conferenceでオープンソースのllm‑dフレームワークのバージョン 1.0を発表した。今回のアップデートでは、サービスに過剰な負荷をかけずに企業が自社のKubernetesクラスターで大規模言語モデルを運用できるよう、サービス品質（QoS）制御、無停止アップグレード、より高度なキャッシュルーティングを追加した。IBMによると、デモでは自社ハードウェア上で3,000のコーディングエージェントを実行し、ホスト型モデルに比べてコストを5〜10倍抑えた。llm‑dはvLLMやSGLangなどの推論エンジンに対応する。