Notis · 1 min läsning
TensorRT-LLM 1.3.0rc29 tar bort AutoDeploy och lägger till stöd för Qwen3.5 med FP8
Versionen tar bort funktionen AutoDeploy och gör det möjligt att läsa in Qwen3.5-checkpoints med global FP8-skalning.
Oossa · Om Oossa
NVIDIA släppte TensorRT-LLM version 1.3.0rc29 den 29 september 2026. Uppdateringen tar bort AutoDeploy-integrationen, en ändring som bryter bakåtkompatibiliteten för användare som anropat dess API, och lägger till stöd för Qwen‑3.5-modellcheckpoints som använder globala FP8-skalor vid inläsning. Ändringen uppdaterar också byggsystemet genom att ta bort ett föråldrat CMake-alternativ.
Varför det spelar roll
Utvecklare behöver anpassa sin kod eftersom anropen till AutoDeploy inte längre finns, samtidigt som nya Qwen‑3.5-modeller nu kan köras med den snabbare FP8-precisionen.
Källor och referenser
| # | Källa | Utgivare | Datum | Kärnpunkt |
|---|---|---|---|---|
| 1 | NVIDIA/TensorRT-LLM v1.3.0rc29 ↗ | TensorRT-LLM | 29 sep. 2026 | ## Highlights - Model Support - Support Qwen3.5 checkpoints with global FP8 scales across model loading paths #19519 - Optimize Gemma4 visio |
1 källor
Senast uppdaterad:
Oossa · Nyhetsbrev
Veckans AI, förklarad
Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.