NVIDIA tillkännagav TensorRT‑LLM version 1.4.0rc0 den 14 okt 2026. Uppdateringen ger stöd för nya modeller som GLM‑5.3‑Flash och Qwen‑Image‑Layered och introducerar en gles nyckel-värde-cache med låsning anpassad efter lagringsnivå. Den lägger också till en Mooncake-lagringspool och en funktion för förebyggande schemaläggning i V2-schemaläggaren. Flera fel har åtgärdats, däribland låsningar vid strömning över flera GPU:er på H100-GPU:er och krascher med DeepSeek-modeller på Blackwell-GPU:er.
Varför det spelar roll
Utvecklare kan köra större språkmodeller på NVIDIA-GPU:er med lägre minnesåtgång och färre krascher.
