# Nemotron 3.5 Bolt mikt op lokale AI met 24GB geheugen

> De makers beschrijven een vision-language-model van 74B-A9B voor lokale agenttaken. Volgens hen haalt het 84 TPS op RTX Spark en is het nauwkeuriger dan vergelijkbare modellen.

Oossa · 2026-10-27 · https://oossa.com/nl/nemotron-3-5-bolt-targets-local-ai-in-24gb-of-memory

Een nieuw arXiv-artikel introduceert Nemotron 3.5 Bolt 74B-A9B 24GB, een vision-language-model voor lokale AI-taken zoals tools gebruiken, op internet browsen en werken in een terminal. Volgens de makers is het ontworpen voor computers met beperkt geheugen en haalt het 84 TPS op RTX Spark, een maat voor de inferentiesnelheid. Het abstract vermeldt niet onder welke testomstandigheden die snelheid is gemeten.

Het model combineert Mamba- en Transformer-ontwerpen, twee benaderingen voor het bouwen van AI-modellen. Het is afgeleid van de Nemotron 3.5 Super VL 120B-A12B-familie en maakt gebruik van Star Elastic-compressie en 2-bit Quantization-Aware Distillation. De makers presenteren die methoden als een manier om prestaties en geheugengebruik in balans te brengen. De modelnaam bevat ‘24GB’, maar het abstract licht de hardwarevereisten niet toe en zegt niet of dat de minimale hoeveelheid geheugen is.

## Voor welke taken is het ontworpen?

Het artikel richt zich op agenttaken: werk waarbij een model tools gebruikt of met software communiceert om een doel te bereiken. Volgens de makers is Bolt geoptimaliseerd voor redeneren, tools gebruiken, op internet browsen en interactie met een terminal. Ze trainden ook een aanvullend systeem met de naam LiLiCorr, dat ze omschrijven als een speculatieve voorspeller. Volgens hen wordt dit samen met het model uitgebracht om de beoogde inferentiesnelheid te halen. Het abstract legt niet uit hoe je een van beide systemen installeert en vermeldt ook niet welke licentie van toepassing is.

De makers melden een hogere nauwkeurigheid dan toonaangevende modellen met een vergelijkbare geheugenvoetafdruk en snelheid op benchmarks als GDPVal v2, BrowseComp en Terminal-Bench 2.1. Ook zeggen ze dat Bolt ongeveer even snel is als modellen met aanzienlijk minder actieve parameters en snel genoeg is voor langdurige agenttaken. Het abstract bevat geen benchmarkscores of vergelijkingen per model, waardoor lezers op basis van alleen de samenvatting niet kunnen beoordelen hoe groot die verbeteringen zijn.

## Wat kunnen gebruikers hieruit opmaken?

Het artikel presenteert Bolt als een optie voor mensen die een vision-and-language-model lokale softwaretaken willen laten uitvoeren, in plaats van daarvoor een externe dienst te gebruiken. De beoogde 24GB-geheugenvoetafdruk en de snelheid op RTX Spark geven een indruk van het beoogde gebruik, maar zeggen niets over de prestaties op andere computers. De claims in het artikel komen van de makers van het model; het abstract bevat geen onafhankelijke testresultaten of informatie over hoe je toegang krijgt tot het model.

## De feiten

- Nemotron 3.5 Bolt heet voluit 74B-A9B 24GB en is afgeleid van de Nemotron 3.5 Super VL 120B-A12B-familie.
- Het model combineert Mamba- en Transformer-ontwerpen en gebruikt Star Elastic-compressie en 2-bit Quantization-Aware Distillation.
- De makers melden 84 TPS op RTX Spark.
- De makers verwijzen naar GDPVal v2, BrowseComp en Terminal-Bench 2.1, maar het abstract bevat geen scores.

## Waarom het ertoe doet

Voor mensen die een AI-agent op hun eigen computer willen draaien, wordt Bolt gepresenteerd als een model dat lokale taken moet aankunnen binnen een geheugenvoetafdruk van 24GB. De makers melden veelbelovende snelheids- en benchmarkresultaten, maar het abstract vermeldt niet op welke hardware naast RTX Spark het model kan draaien en geeft geen gedetailleerde scores. De praktische prestaties blijven daardoor onzeker.

## Bronnen en referenties

1. [Nemotron 3.5 Bolt 74B-A9B 24GB: A Hybrid Vision-Language Model for Local AI](https://arxiv.org/abs/2610.33039) – arXiv cs.CV, 2026-10-27

Laatst bijgewerkt: 2026-10-27