NVIDIA a annoncé TensorRT‑LLM version 1.4.0rc0 le 14 octobre 2026. Cette mise à jour prend notamment en charge GLM‑5.3‑Flash et Qwen‑Image‑Layered, et introduit un cache clé-valeur clairsemé avec verrouillage tenant compte des niveaux. Elle ajoute également un pool de stockage Mooncake et une fonctionnalité de préemption du planificateur V2. Plusieurs bugs ont été corrigés, notamment des blocages du streaming multi-GPU sur les GPU H100 et des plantages avec les modèles DeepSeek sur les GPU Blackwell.
Pourquoi c'est important
Les développeurs peuvent exécuter des modèles de langage plus volumineux sur les GPU NVIDIA en utilisant moins de mémoire et en rencontrant moins de plantages.
