22 октября 2026 года NVIDIA выпустила TensorRT‑LLM версии 1.4.0rc1. В обновлении API менеджера KV-кэша V2 назначен используемым по умолчанию — это изменение нарушает обратную совместимость. Кроме того, удалены ставшие ненужными поля LlmRequest. Также добавлена поддержка DeepSeek‑V4.1‑Flash, NVFP4 GLM‑5.3‑Flash и Qwen3.8‑Flash‑Next, а также других моделей.
Почему это важно
Разработчикам, использующим TensorRT‑LLM, нужно обновить код для работы с новым API KV-кэша, иначе их приложения не запустятся.
