A NVIDIA anunciou o TensorRT‑LLM versão 1.4.0rc0 em 14 de outubro de 2026. A atualização adiciona suporte a novos modelos, como GLM‑5.3‑Flash e Qwen‑Image‑Layered, e introduz um cache esparso de chave-valor com bloqueio sensível a níveis. Também inclui um pool de armazenamento Mooncake e um recurso de preempção do escalonador V2. Entre as falhas corrigidas estão travamentos no streaming multi-GPU em GPUs H100 e falhas em modelos DeepSeek em GPUs Blackwell.
Por que importa
Os desenvolvedores podem executar modelos de linguagem maiores em GPUs NVIDIA usando menos memória e com menos falhas.
