IBM और उसके सहयोगियों ने Oct 20 2026 को PyTorch Conference में ओपन-सोर्स llm‑d फ्रेमवर्क का version 1.0 जारी करने की घोषणा की। इस अपडेट में सेवा गुणवत्ता नियंत्रण, बिना सेवा रोके अपग्रेड और बेहतर कैश रूटिंग की सुविधा जोड़ी गई है। इससे कंपनियां सेवा पर ज़रूरत से ज़्यादा दबाव डाले बिना अपने Kubernetes क्लस्टर पर बड़े भाषा मॉडल चला सकती हैं। IBM ने बताया कि एक डेमो में अपने हार्डवेयर पर 3,000 कोडिंग एजेंट चलाए गए, जिसकी लागत होस्टेड मॉडल की तुलना में पांच से दस गुना कम रही। यह फ्रेमवर्क vLLM और SGLang जैसे इन्फ़रेंस इंजन के साथ काम करता है।
यह क्यों मायने रखता है
एंटरप्राइज़ AI वर्कलोड अपने परिसर में चला सकते हैं, जिससे क्लाउड की लागत घटेगी और किसी एक प्रदाता पर निर्भरता से बचा जा सकेगा।
