NVIDIA于2026年10月14日宣布推出TensorRT‑LLM 1.4.0rc0。此版本新增GLM‑5.3‑Flash和Qwen‑Image‑Layered等模型支持,并引入带有分层感知锁定机制的稀疏键值缓存。此外,版本还新增Mooncake存储池和V2调度器抢占功能。此次更新修复了多个问题,包括H100 GPU上的多GPU流式处理卡死,以及Blackwell GPU上运行DeepSeek模型时发生的崩溃。
为什么重要
开发者可在NVIDIA GPU上以更低的内存占用运行更大的语言模型,并减少崩溃。