Oossa

NVIDIA发布TensorRT‑LLM 1.4.0候选版

新版本新增多款模型支持、稀疏KV缓存和Mooncake存储池,并修复多GPU流式处理及量化头部相关问题。

简讯作者: Oossa 发布日期: 1 分钟阅读

NVIDIA于2026年10月14日宣布推出TensorRT‑LLM 1.4.0rc0。此版本新增GLM‑5.3‑Flash和Qwen‑Image‑Layered等模型支持,并引入带有分层感知锁定机制的稀疏键值缓存。此外,版本还新增Mooncake存储池和V2调度器抢占功能。此次更新修复了多个问题,包括H100 GPU上的多GPU流式处理卡死,以及Blackwell GPU上运行DeepSeek模型时发生的崩溃。

为什么重要

开发者可在NVIDIA GPU上以更低的内存占用运行更大的语言模型,并减少崩溃。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。