Заметка · 1 мин чтения
В TensorRT-LLM 1.3.0rc29 удалили AutoDeploy и добавили поддержку Qwen3.5 FP8
В релизе удалена функция AutoDeploy и добавлена возможность загружать чекпойнты Qwen3.5 с глобальным масштабированием FP8.
Oossa · Об Oossa
NVIDIA выпустила TensorRT-LLM версии 1.3.0rc29 29 сентября 2026 года. В обновлении удалили интеграцию AutoDeploy — это ломающее обратную совместимость изменение для пользователей, вызывавших её API. Также добавили поддержку чекпойнтов моделей Qwen‑3.5, использующих глобальные масштабы FP8 при загрузке. Кроме того, обновили систему сборки, удалив устаревшую опцию CMake.
Почему это важно
Разработчикам придётся скорректировать код из-за отсутствующих вызовов AutoDeploy, а новые модели Qwen‑3.5 теперь можно запускать с более быстрым форматом FP8.
Источники и ссылки
| # | Источник | Издание | Дата | Главное |
|---|---|---|---|---|
| 1 | NVIDIA/TensorRT-LLM v1.3.0rc29 ↗ | TensorRT-LLM | 29 сент. 2026 г. | ## Highlights - Model Support - Support Qwen3.5 checkpoints with global FP8 scales across model loading paths #19519 - Optimize Gemma4 visio |
1 источников
Обновлено:
Oossa · Рассылка
Неделя ИИ — простыми словами
Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.