NVIDIA hat am 14. Okt. 2026 TensorRT‑LLM Version 1.4.0rc0 angekündigt. Das Update unterstützt neue Modelle wie GLM‑5.3‑Flash und Qwen‑Image‑Layered und führt einen Sparse-Key-Value-Cache mit tier-bewusstem Locking ein. Außerdem gibt es einen Mooncake-Store-Pool und eine V2-Scheduler-Preemption-Funktion. Zu den behobenen Fehlern zählen Hänger beim Multi-GPU-Streaming auf H100-GPUs und Abstürze mit DeepSeek-Modellen auf Blackwell-GPUs.
Warum es wichtig ist
Entwickler können größere Sprachmodelle mit geringerem Speicherbedarf und weniger Abstürzen auf NVIDIA-GPUs ausführen.
