# Nemotron 3.5 Bolt：瞄准24GB内存本地AI

> 作者称，这款74B-A9B视觉语言模型面向本地智能体任务，在RTX Spark上达到84 TPS，准确率高于内存占用相近的竞品。

Oossa · 2026-10-27 · https://oossa.com/zh/nemotron-3-5-bolt-targets-local-ai-in-24gb-of-memory

一篇新发布的arXiv论文介绍了Nemotron 3.5 Bolt 74B-A9B 24GB。这是一款面向本地AI任务的视觉语言模型，可用于调用工具、浏览网页和操作终端。作者表示，该模型针对内存有限的电脑打造，在RTX Spark上的推理速度为84 TPS。摘要没有说明这一速度数据的测试设置。

该模型融合了Mamba和Transformer两种AI模型架构，衍生自Nemotron 3.5 Super VL 120B-A12B系列，并采用Star Elastic压缩和2-bit量化感知蒸馏。作者称，这些方法有助于在性能和内存占用之间取得平衡。模型名称中包含“24GB”，但摘要没有具体说明硬件要求，也未明确这是否是所需的最低内存。

## 它适合处理哪些任务？

论文聚焦于智能体任务，也就是模型通过调用工具或与软件交互来完成目标。作者称，他们针对推理、工具调用、网页浏览和终端交互对Bolt进行了优化。他们还训练了一个名为LiLiCorr的配套系统，并将其描述为“推测解码器”；作者称，该系统与模型一同发布，可帮助达到目标推理速度。摘要没有说明如何安装这两个系统，也未提及适用的许可证。

作者称，在GDPVal v2、BrowseComp和Terminal-Bench 2.1等基准测试中，Bolt的准确率高于内存占用和速度相近的领先模型。他们还表示，Bolt的速度可与激活参数量低得多的模型相媲美，足以胜任长时间运行的智能体任务。摘要没有提供基准分数或逐个模型的对比，因此仅凭摘要，读者无法判断这些提升有多大。

## 用户可以得出什么结论？

论文将Bolt定位为一款可在本地硬件上处理软件操作任务的视觉语言模型，适合不想依赖远程服务的用户。论文提到的24GB目标和RTX Spark上的速度数据，让人可以大致了解其预期部署方式，但并不能证明它在其他电脑上的表现。相关说法来自模型作者；摘要没有提供独立测试结果或获取方式。

## 事实

- Nemotron 3.5 Bolt的名称为74B-A9B 24GB，衍生自Nemotron 3.5 Super VL 120B-A12B系列。
- 该模型融合Mamba和Transformer架构，并采用Star Elastic压缩与2-bit量化感知蒸馏。
- 作者称，该模型在RTX Spark上的速度为84 TPS。
- 作者提到了GDPVal v2、BrowseComp和Terminal-Bench 2.1，但摘要没有给出分数。

## 为什么重要

对于希望在自己的电脑上运行AI智能体的人来说，Bolt被定位为一款面向本地任务、旨在适配24GB内存的模型。作者报告了可观的速度和基准测试结果，但摘要既未说明除RTX Spark外哪些硬件能够运行它，也没有提供详细分数，因此实际表现仍不确定。

## 来源与参考

1. [Nemotron 3.5 Bolt 74B-A9B 24GB: A Hybrid Vision-Language Model for Local AI](https://arxiv.org/abs/2610.33039) – arXiv cs.CV, 2026-10-27

最后更新: 2026-10-27