Den nya versionen stöder flera modeller, gör KV-cachehanterare V2 till standard och tar bort oanvända fält i förfrågningar.
NotisAv OossaPublicerad av Oossa: 1 min läsning
NVIDIA publicerade TensorRT‑LLM version 1.4.0rc1 den 22 oktober 2026. Uppdateringen gör KV-cachehanterare V2 till standard-API, en ändring som inte är bakåtkompatibel för utvecklare, och tar bort de numera oanvända fälten i LlmRequest. Den lägger också till stöd för bland annat DeepSeek‑V4.1‑Flash, NVFP4 GLM‑5.3‑Flash och Qwen3.8‑Flash‑Next.
Utvecklare som använder TensorRT‑LLM måste uppdatera sin kod till det nya KV-cache-API:et, annars startar deras program inte.
Modeller
Flint har 40 miljarder parametrar, varav 2,5 miljarder aktiva, och körs med 125 tokens per sekund på en MacBook Pro.
Modeller
Den nya modellen Flint hjälper Ollama att förstå och ändra kod i stora projekt. Den har ett kontextfönster på 262K token och tidigt stöd för Mac.
Modeller
Googles Gemini-AI kan nu svara på talade navigeringsfrågor i Google Maps på CarPlay. Funktionen lanseras först i USA.
Oossa · Nyhetsbrev
Veckans AI, förklarad
Varje måndag: nyheterna som är värda att känna till, på enkel svenska. Gratis, ingen spam.
