# llm‑d 1.0 में एंटरप्राइज़ AI इन्फ़रेंस के लिए नए नियंत्रण

> IBM, Red Hat और साझेदारों ने QoS, बिना सेवा रोके अपग्रेड और कैश रूटिंग के साथ llm‑d version 1.0 जारी किया। इससे बड़े मॉडल अपने सर्वर पर चलाए जा सकते हैं।

Oossa · 2026-10-20 · https://oossa.com/hi/llm-d-1-0-adds-in-house-controls-for-enterprise-ai-inference

IBM और उसके सहयोगियों ने Oct 20 2026 को PyTorch Conference में ओपन-सोर्स llm‑d फ्रेमवर्क का version 1.0 जारी करने की घोषणा की। इस अपडेट में सेवा गुणवत्ता नियंत्रण, बिना सेवा रोके अपग्रेड और बेहतर कैश रूटिंग की सुविधा जोड़ी गई है। इससे कंपनियां सेवा पर ज़रूरत से ज़्यादा दबाव डाले बिना अपने Kubernetes क्लस्टर पर बड़े भाषा मॉडल चला सकती हैं। IBM ने बताया कि एक डेमो में अपने हार्डवेयर पर 3,000 कोडिंग एजेंट चलाए गए, जिसकी लागत होस्टेड मॉडल की तुलना में पांच से दस गुना कम रही। यह फ्रेमवर्क vLLM और SGLang जैसे इन्फ़रेंस इंजन के साथ काम करता है।

## तथ्य

- version 1.0 Oct 20 2026 को जारी हुआ
- डेमो: होस्टेड सेवा की तुलना में 5‑10× कम लागत पर 3,000 एजेंट चलाए गए

## यह क्यों मायने रखता है

एंटरप्राइज़ AI वर्कलोड अपने परिसर में चला सकते हैं, जिससे क्लाउड की लागत घटेगी और किसी एक प्रदाता पर निर्भरता से बचा जा सकेगा।

## स्रोत और संदर्भ

1. [IBM-backed llm-d framework adds controls for running AI models in-house](https://siliconangle.com/2026/10/20/ibm-backed-llm-d-framework-adds-controls-for-running-ai-models-in-house/) – SiliconANGLE, 2026-10-20
2. [llm-d 1.0 hardens open-source AI inference for day 2 production operations](https://research.ibm.com/blog/llmd-1-0-is-ready-for-production-inference-serving) – IBM Research
3. [Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets](https://www.marktechpost.com/2026/10/20/llm-d-1-0-open-source-distributed-inference-stack/) – MarkTechPost, 2026-10-21

अंतिम अपडेट: 2026-10-21