NVIDIA ने 14 अक्टूबर, 2026 को TensorRT‑LLM वर्ज़न 1.4.0rc0 की घोषणा की। इस अपडेट में GLM‑5.3‑Flash और Qwen‑Image‑Layered जैसे नए मॉडल का समर्थन शामिल है, साथ ही टियर‑अवेयर लॉकिंग वाला स्पार्स की‑वैल्यू कैश भी जोड़ा गया है। इसमें Mooncake स्टोर पूल और V2 शेड्यूलर प्रीएम्प्शन फीचर भी शामिल हैं। कई बग ठीक किए गए हैं, जिनमें H100 GPU पर मल्टी‑GPU स्ट्रीमिंग के दौरान अटकने और Blackwell GPU पर DeepSeek मॉडल के साथ क्रैश होने की समस्याएं शामिल हैं।
यह क्यों मायने रखता है
डेवलपर NVIDIA GPU पर कम मेमोरी खर्च करके बड़े भाषा मॉडल चला सकेंगे और क्रैश की समस्या भी कम होगी।
