NVIDIA ने 22 अक्टूबर 2026 को TensorRT‑LLM version 1.4.0rc1 जारी किया। इस अपडेट में KV cache manager V2 को डिफ़ॉल्ट API बनाया गया है। डेवलपर्स के लिए यह बड़ा बदलाव है, क्योंकि इससे पुराने कोड के साथ अनुकूलता टूट सकती है। अब इस्तेमाल न होने वाले LlmRequest fields भी हटा दिए गए हैं। इसके अलावा, DeepSeek‑V4.1‑Flash, NVFP4 GLM‑5.3‑Flash और Qwen3.8‑Flash‑Next समेत कई मॉडल जोड़े गए हैं।
यह क्यों मायने रखता है
TensorRT‑LLM इस्तेमाल करने वाले डेवलपर्स को नए KV cache API के मुताबिक अपना कोड अपडेट करना होगा, वरना उनके ऐप्लिकेशन शुरू नहीं हो पाएँगे।
