Kısa haber · 1 dk okuma
TensorRT-LLM 1.3.0rc29, AutoDeploy özelliğini kaldırıyor ve Qwen3.5 FP8 desteği ekliyor
Sürüm, AutoDeploy özelliğini kaldırırken global FP8 ölçeklendirmesi kullanan Qwen3.5 kontrol noktalarının yüklenmesini sağlıyor.
Oossa · Oossa Hakkında
NVIDIA, TensorRT-LLM’in 1.3.0rc29 sürümünü 29 Eylül 2026’da yayımladı. Güncelleme, API’sini kullananlar için geriye dönük uyumluluğu bozan AutoDeploy entegrasyonunu kaldırıyor ve yükleme sırasında global FP8 ölçekleri kullanan Qwen‑3.5 model kontrol noktalarına destek ekliyor. Değişiklik, eski bir CMake seçeneğinin kaldırılmasıyla derleme sistemini de güncelliyor.
Neden önemli
Geliştiricilerin, artık bulunmayan AutoDeploy çağrılarını kullanan kodlarını değiştirmesi gerekecek. Yeni Qwen‑3.5 modelleri ise artık daha hızlı FP8 hassasiyetiyle çalıştırılabilecek.
Kaynaklar ve referanslar
| # | Kaynak | Yayın | Tarih | Ana fikir |
|---|---|---|---|---|
| 1 | NVIDIA/TensorRT-LLM v1.3.0rc29 ↗ | TensorRT-LLM | 29 Eyl 2026 | ## Highlights - Model Support - Support Qwen3.5 checkpoints with global FP8 scales across model loading paths #19519 - Optimize Gemma4 visio |
1 kaynak
Son güncelleme:
Oossa · Bülten
Yapay zekâda hafta, anlaşılır dille
Her pazartesi: bilmeye değer haberler, sade bir dille. Ücretsiz, spam yok.