NVIDIA, TensorRT‑LLM 1.4.0rc0 sürümünü 14 Ekim 2026’da duyurdu. Güncelleme, GLM‑5.3‑Flash ve Qwen‑Image‑Layered gibi yeni modellere destek getiriyor ve katman farkındalıklı kilitleme özelliğine sahip seyrek bir anahtar-değer önbelleği sunuyor. Ayrıca Mooncake depolama havuzu ve V2 zamanlayıcıda öncelik kesme özelliği ekliyor. H100 GPU’larda çoklu GPU akışı sırasında yaşanan takılmalar ve Blackwell GPU’larda DeepSeek modelleriyle görülen çökmeler de dahil olmak üzere çeşitli hatalar giderildi.
Neden önemli
Geliştiriciler, NVIDIA GPU’larda daha az bellek kullanarak daha büyük dil modellerini çalıştırabilir ve daha az çökmeyle karşılaşabilir.
