خبر کوتاه · 1 دقیقه مطالعه
TensorRT-LLM 1.3.0rc29 قابلیت AutoDeploy را حذف و پشتیبانی از FP8 در Qwen3.5 را اضافه میکند
در این نسخه، قابلیت AutoDeploy حذف شده و امکان بارگذاری چکپوینتهای Qwen3.5 با مقیاسدهی سراسری FP8 فراهم شده است.
Oossa · درباره Oossa
NVIDIA نسخه 1.3.0rc29 از TensorRT-LLM را در ۲۹ سپتامبر ۲۰۲۶ منتشر کرد. این بهروزرسانی یکپارچهسازی AutoDeploy را حذف میکند؛ تغییری ناسازگار که بر کاربرانی که API آن را فراخوانی میکردند اثر میگذارد. همچنین پشتیبانی از بارگذاری چکپوینتهای مدل Qwen‑3.5 با مقیاسهای سراسری FP8 را اضافه میکند. این تغییر، سیستم ساخت را هم بهروزرسانی کرده و یک گزینه منسوخشده CMake را کنار میگذارد.
چرا مهم است
توسعهدهندگان باید کد خود را با حذف فراخوانیهای AutoDeploy سازگار کنند؛ در عین حال، مدلهای جدید Qwen‑3.5 اکنون میتوانند با دقت FP8 سریعتر اجرا شوند.
منابع و ارجاعها
| # | منبع | رسانه | تاریخ | نکته اصلی |
|---|---|---|---|---|
| 1 | NVIDIA/TensorRT-LLM v1.3.0rc29 ↗ | TensorRT-LLM | ۷ مهر ۱۴۰۵ | ## Highlights - Model Support - Support Qwen3.5 checkpoints with global FP8 scales across model loading paths #19519 - Optimize Gemma4 visio |
1 منبع
آخرین بهروزرسانی:
Oossa · خبرنامه
هفتهٔ هوش مصنوعی، به زبان ساده
هر دوشنبه: خبرهایی که ارزش دانستن دارند، به زبان ساده. رایگان و بدون هرزنامه.