NVIDIA ha annunciato TensorRT‑LLM versione 1.4.0rc0 il 14 ottobre 2026. L’aggiornamento introduce il supporto per nuovi modelli, tra cui GLM‑5.3‑Flash e Qwen‑Image‑Layered, e una cache sparsa delle chiavi e dei valori con blocchi sensibili ai livelli. Aggiunge inoltre un pool di archiviazione Mooncake e una funzione di preemption dello scheduler V2. Sono stati corretti diversi bug, tra cui i blocchi durante lo streaming multi-GPU sulle GPU H100 e gli arresti anomali con i modelli DeepSeek sulle GPU Blackwell.
Perché conta
Gli sviluppatori possono eseguire modelli linguistici più grandi sulle GPU NVIDIA usando meno memoria e con meno arresti anomali.
