NVIDIA于2026年10月22日发布TensorRT‑LLM 1.4.0rc1。此次更新将KV缓存管理器V2设为默认API，这对开发者来说属于破坏性变更，并移除了现已弃用的LlmRequest字段。此外，新版本还新增了对DeepSeek‑V4.1‑Flash、NVFP4 GLM‑5.3‑Flash和Qwen3.8‑Flash‑Next等模型的支持。
为什么重要
使用TensorRT‑LLM的开发者必须将代码更新为新的KV缓存API，否则应用将无法启动。
NVIDIA发布TensorRT‑LLM 1.4.0rc1，默认启用KV缓存管理器V2
新版本新增多款模型支持，将KV缓存管理器V2设为默认，并移除不再使用的请求字段。
简讯作者： OossaOossa 发布日期: 1 分钟阅读
继续阅读
Oossa · 新闻简报
一周 AI，讲明白
每周一，用通俗的语言讲清值得知道的新闻。免费，无垃圾邮件。