NVIDIA anunció TensorRT‑LLM versión 1.4.0rc0 el 14 de oct. de 2026. La actualización añade compatibilidad con modelos como GLM‑5.3‑Flash y Qwen‑Image‑Layered, e incorpora una caché dispersa de clave-valor con bloqueo adaptado a los niveles. También agrega un pool de almacenamiento Mooncake y una función de desalojo preventivo del planificador V2. Se corrigieron varios errores, entre ellos bloqueos durante la transmisión en varias GPU H100 y cierres inesperados con modelos DeepSeek en GPU Blackwell.
Por qué importa
Los desarrolladores pueden ejecutar modelos de lenguaje más grandes en GPU NVIDIA con menos uso de memoria y menos cierres inesperados.
