# llm-d 1.0, 기업용 AI 추론 제어 기능 강화

> IBM과 Red Hat, 파트너사들이 QoS, 무중단 업그레이드, 캐시 라우팅 기능을 갖춘 llm-d 버전 1.0을 출시했다. 기업은 대규모 모델을 직접 호스팅해 운영할 수 있다.

Oossa · 2026-10-20 · https://oossa.com/ko/llm-d-1-0-adds-in-house-controls-for-enterprise-ai-inference

IBM과 협력사들은 2026년 10월 20일 PyTorch Conference에서 오픈소스 llm-d 프레임워크 버전 1.0을 발표했다. 이번 업데이트에는 서비스 과부하 없이 자체 Kubernetes 클러스터에서 대규모 언어 모델을 실행할 수 있도록 서비스 품질(QoS) 제어, 무중단 업그레이드, 개선된 캐시 라우팅 기능이 추가됐다. IBM은 자체 호스팅 하드웨어에서 코딩 에이전트 3,000개를 실행한 시연에서 호스팅 모델을 이용할 때보다 비용을 5~10배 낮췄다고 밝혔다. 이 프레임워크는 vLLM, SGLang 등의 추론 엔진과 함께 사용할 수 있다.

## 팩트

- 버전 1.0은 2026년 10월 20일 출시됐다
- 시연에서 에이전트 3,000개를 호스팅 서비스보다 5~10배 낮은 비용으로 실행했다

## 왜 중요한가

기업은 AI 작업을 자체 환경에서 처리해 클라우드 비용을 줄이고 단일 공급자에 대한 의존을 피할 수 있다.

## 출처 및 참고 자료

1. [IBM-backed llm-d framework adds controls for running AI models in-house](https://siliconangle.com/2026/10/20/ibm-backed-llm-d-framework-adds-controls-for-running-ai-models-in-house/) – SiliconANGLE, 2026-10-20
2. [llm-d 1.0 hardens open-source AI inference for day 2 production operations](https://research.ibm.com/blog/llmd-1-0-is-ready-for-production-inference-serving) – IBM Research
3. [Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets](https://www.marktechpost.com/2026/10/20/llm-d-1-0-open-source-distributed-inference-stack/) – MarkTechPost, 2026-10-21

최종 업데이트: 2026-10-21