14 октября 2026 года NVIDIA представила TensorRT‑LLM версии 1.4.0rc0. В обновлении добавлена поддержка новых моделей, включая GLM‑5.3‑Flash и Qwen‑Image‑Layered, а также разреженный кэш ключей и значений с блокировками с учётом уровней хранения. Кроме того, появились пул хранилищ Mooncake и функция вытеснения задач в планировщике V2. Исправлено несколько ошибок, в том числе зависания при потоковой передаче на нескольких GPU H100 и сбои при работе с моделями DeepSeek на GPU Blackwell.
Почему это важно
Разработчики смогут запускать на GPU NVIDIA более крупные языковые модели, расходуя меньше памяти и сталкиваясь с меньшим числом сбоев.
