NVIDIA heeft op 14 oktober 2026 TensorRT‑LLM versie 1.4.0rc0 aangekondigd. De update ondersteunt nieuwe modellen, zoals GLM‑5.3‑Flash en Qwen‑Image‑Layered, en introduceert een sparse key-value-cache met tier-aware locking. Ook voegt de update een Mooncake-storepool en een functie voor preëmptie door de V2-scheduler toe. Er zijn verschillende bugs verholpen, waaronder vastlopers bij streaming op meerdere H100-GPU’s en crashes met DeepSeek-modellen op Blackwell-GPU’s.
Waarom het ertoe doet
Ontwikkelaars kunnen grotere taalmodellen draaien op NVIDIA-GPU’s, met minder geheugengebruik en minder crashes.
