IBM ve iş ortakları, açık kaynaklı llm‑d çerçevesinin 1.0 sürümünü 20 Ekim 2026’da PyTorch Conference’ta duyurdu. Güncelleme; hizmeti aşırı yüklemeden şirketlerin büyük dil modellerini kendi Kubernetes kümelerinde çalıştırabilmesi için hizmet kalitesi denetimleri, kesintisiz yükseltmeler ve daha akıllı önbellek yönlendirme özellikleri ekliyor. IBM, şirket içinde barındırılan donanımlarda 3.000 kodlama aracısının çalıştırıldığı bir demoda, barındırılan bir modele kıyasla maliyetin 5 ila 10 kat daha düşük olduğunu belirtti. Çerçeve, vLLM ve SGLang gibi çıkarım motorlarıyla çalışıyor.
Neden önemli
Şirketler yapay zekâ iş yüklerini kendi bünyelerinde tutarak bulut maliyetlerini düşürebilir ve tek bir sağlayıcıya bağımlı kalmaktan kaçınabilir.
