Ein neues arXiv-Paper stellt Nemotron 3.5 Bolt 74B-A9B 24GB vor, ein Vision-Language-Modell für lokale KI-Aufgaben wie den Einsatz von Tools, das Surfen im Web und die Arbeit im Terminal. Laut den Autoren ist es für Computer mit begrenztem Speicher ausgelegt und erreicht auf RTX Spark 84 TPS – ein Maß für die Inferenzgeschwindigkeit. Welche Testbedingungen diesem Geschwindigkeitswert zugrunde liegen, geht aus dem Abstract nicht hervor.
Das Modell kombiniert die Architekturen Mamba und Transformer, zwei Ansätze für den Aufbau von KI-Modellen. Es basiert auf der Familie Nemotron 3.5 Super VL 120B-A12B und nutzt Star Elastic Compression sowie 2-bit Quantization-Aware Distillation. Diese Methoden sollen laut den Autoren Leistung und Speicherbedarf in Einklang bringen. Der Modellname enthält zwar „24GB“, doch im Abstract werden weder die Hardwareanforderungen erläutert noch wird angegeben, ob dies der mindestens erforderliche Speicher ist.
Für welche Aufgaben ist es ausgelegt?
Im Paper geht es vor allem um agentische Aufgaben: Dabei nutzt ein Modell Tools oder interagiert mit Software, um ein Ziel zu erreichen. Die Autoren geben an, Bolt für Schlussfolgerungen, den Einsatz von Tools, das Surfen im Web und die Interaktion mit dem Terminal optimiert zu haben. Außerdem trainierten sie ein ergänzendes System namens LiLiCorr, das als spekulativer Draft-Generator beschrieben wird. Es wird zusammen mit dem Modell veröffentlicht und soll dabei helfen, die angestrebte Inferenzgeschwindigkeit zu erreichen. Wie sich eines der beiden Systeme installieren lässt und welche Lizenz gilt, erklärt das Abstract nicht.
Die Autoren berichten, Bolt erreiche bei Benchmarks wie GDPVal v2, BrowseComp und Terminal-Bench 2.1 eine höhere Genauigkeit als führende Modelle mit vergleichbarem Speicherbedarf und vergleichbarer Geschwindigkeit. Außerdem sei Bolt so schnell wie Modelle mit deutlich weniger aktiven Parametern und eigne sich für lang laufende Agentenaufgaben. Das Abstract nennt weder Benchmark-Ergebnisse noch Vergleiche einzelner Modelle. Daher lässt sich anhand der Zusammenfassung allein nicht beurteilen, wie groß die Leistungszuwächse sind.
Welche Schlüsse können Nutzer ziehen?
Das Paper stellt Bolt als Option für alle vor, die ein Vision-and-Language-Modell lokale Softwareaufgaben erledigen lassen möchten, statt dafür einen entfernten Dienst zu nutzen. Der angegebene Zielwert von 24GB und die Geschwindigkeitsangabe für RTX Spark vermitteln einen Eindruck von der geplanten Nutzung, belegen aber nicht, wie gut das Modell auf anderen Computern läuft. Die Angaben stammen von den Autoren des Modells; unabhängige Testergebnisse oder Informationen zum Zugang enthält das Abstract nicht.
Warum es wichtig ist
Wer einen KI-Agenten auf dem eigenen Computer ausführen möchte, bekommt mit Bolt ein Modell, das laut Darstellung für lokale Aufgaben mit einem Speicherbedarf von 24GB ausgelegt ist. Die Autoren berichten von vielversprechenden Geschwindigkeits- und Benchmark-Ergebnissen. Das Abstract nennt jedoch außer RTX Spark keine geeignete Hardware und enthält keine detaillierten Ergebnisse. Wie gut das Modell in der Praxis läuft, bleibt daher unklar.
