NVIDIA hat am 22. Oktober 2026 TensorRT‑LLM Version 1.4.0rc1 veröffentlicht. Mit dem Update wird der KV-Cache-Manager V2 zur Standard-API – eine Änderung, die bestehende Anwendungen inkompatibel machen kann. Außerdem werden die inzwischen nicht mehr verwendeten LlmRequest-Felder entfernt. Neu hinzu kommt unter anderem die Unterstützung für DeepSeek‑V4.1‑Flash, NVFP4 GLM‑5.3‑Flash und Qwen3.8‑Flash‑Next.
Warum es wichtig ist
Wer TensorRT‑LLM nutzt, muss den Code an die neue KV-Cache-API anpassen, sonst starten die Anwendungen nicht.
