En ny arXiv-artikel presenterar Nemotron 3.5 Bolt 74B-A9B 24GB, en vision- och språkmodell utformad för lokala AI-uppgifter som att använda verktyg, surfa på webben och arbeta i en terminal. Enligt författarna är den byggd för datorer med begränsat minne och uppnår 84 TPS på RTX Spark, ett mått på inferenshastighet. Sammanfattningen anger inte vilka testförhållanden som ligger bakom hastighetssiffran.
Modellen kombinerar Mamba- och Transformer-arkitekturer, två metoder för att bygga AI-modeller. Den bygger på familjen Nemotron 3.5 Super VL 120B-A12B och använder Star Elastic-komprimering samt 2-bitars Quantization-Aware Distillation. Författarna beskriver metoderna som ett sätt att balansera prestanda och minnesåtgång. Modellnamnet innehåller ”24GB”, men sammanfattningen specificerar inte hårdvarukraven eller om det är den minsta mängd minne som behövs.
Vilka uppgifter är modellen gjord för?
Artikeln fokuserar på agentuppgifter: arbete där en modell använder verktyg eller samspelar med programvara för att nå ett mål. Författarna säger att de har optimerat Bolt för resonemang, verktygsanvändning, webbsurfning och terminalinteraktioner. De har också tränat ett kompletterande system kallat LiLiCorr, som beskrivs som en spekulativ utkastmodell, och uppger att det släpps tillsammans med modellen för att hjälpa den nå den angivna inferenshastigheten. Sammanfattningen förklarar inte hur systemen installeras eller vilken licens som gäller.
Författarna uppger att modellen har högre träffsäkerhet än ledande modeller med liknande minnesbehov och hastighet i flera riktmärken, däribland GDPVal v2, BrowseComp och Terminal-Bench 2.1. De säger också att Bolts hastighet är jämförbar med modeller som har betydligt färre aktiva parametrar och räcker för långvariga agentuppgifter. Sammanfattningen innehåller inga poäng eller jämförelser modell för modell, så det går inte att bedöma hur stora förbättringarna är enbart utifrån den.
Vad kan användare dra för slutsatser?
Artikeln presenterar Bolt som ett alternativ för den som vill att en vision- och språkmodell ska hantera programvaruuppgifter på lokal hårdvara i stället för att använda en fjärrtjänst. Det angivna målet på 24GB och hastighetssiffran för RTX Spark ger en bild av den tänkta användningen, men visar inte hur modellen presterar på andra datorer. Uppgifterna kommer från modellens författare; sammanfattningen innehåller inga oberoende testresultat eller information om hur modellen kan nås.
Varför det spelar roll
För den som hoppas kunna köra en AI-agent på sin egen dator presenteras Bolt som en modell avsedd för lokala uppgifter inom en minnesram på 24GB. Författarna rapporterar lovande hastighets- och benchmarkresultat, men sammanfattningen anger inte vilken hårdvara utöver RTX Spark som kan köra modellen eller redovisar detaljerade poäng. Därför är den praktiska prestandan fortfarande osäker.
