Oossa

NVIDIA, KV cache yöneticisi V2’yi varsayılan yapan TensorRT‑LLM 1.4.0rc1’i yayımladı

Yeni sürüm birkaç model için destek ekliyor, KV cache yöneticisi V2’yi varsayılan yapıyor ve kullanılmayan istek alanlarını kaldırıyor.

Kısa haberYazan: Oossa yayın tarihi: 1 dk okuma

NVIDIA, TensorRT‑LLM 1.4.0rc1 sürümünü 22 Ekim 2026’da yayımladı. Güncelleme, KV cache yöneticisi V2’yi varsayılan API yapıyor; geliştiriciler açısından geriye dönük uyumluluğu bozan bu değişiklikle artık kullanılmayan LlmRequest alanları da kaldırılıyor. Sürüm ayrıca DeepSeek‑V4.1‑Flash, NVFP4 GLM‑5.3‑Flash ve Qwen3.8‑Flash‑Next gibi modellere destek ekliyor.

Neden önemli

TensorRT‑LLM kullanan geliştiricilerin yeni KV cache API’sine geçmek için kodlarını güncellemesi gerekiyor; aksi halde uygulamaları başlatılamayacak.

Bu makale faydalı oldu mu?
Paylaş

Sıradaki okuma

Oossa · Bülten

Yapay zekâda hafta, anlaşılır dille

Her pazartesi: bilmeye değer haberler, sade bir dille. Ücretsiz, spam yok.