IBM و همکارانش در 20 Oct 2026، در کنفرانس PyTorch، از نسخه 1.0 چارچوب متن‌باز llm‑d رونمایی کردند. این به‌روزرسانی کنترل‌های کیفیت خدمات، ارتقای بدون قطعی و مسیریابی هوشمندتر کش را اضافه می‌کند تا شرکت‌ها بتوانند مدل‌های زبانی بزرگ را روی کلاسترهای Kubernetes خود اجرا کنند، بی‌آنکه سرویس بیش از ظرفیتش تحت فشار قرار بگیرد. IBM گفت در یک نمایش آزمایشی، 3,000 عامل کدنویسی روی سخت‌افزار خودمیزبان اجرا شدند و هزینه 5 تا 10 برابر کمتر از یک مدل میزبانی‌شده بود. این چارچوب با موتورهای استنتاجی مانند vLLM و SGLang کار می‌کند.
چرا مهم است
سازمان‌ها می‌توانند بارهای کاری هوش مصنوعی را در زیرساخت خود نگه دارند، هزینه‌های ابری را کاهش دهند و از وابستگی به یک ارائه‌دهنده واحد دور بمانند.
