一篇新发布的arXiv论文介绍了Nemotron 3.5 Bolt 74B-A9B 24GB。这是一款面向本地AI任务的视觉语言模型，可用于调用工具、浏览网页和操作终端。作者表示，该模型针对内存有限的电脑打造，在RTX Spark上的推理速度为84 TPS。摘要没有说明这一速度数据的测试设置。
该模型融合了Mamba和Transformer两种AI模型架构，衍生自Nemotron 3.5 Super VL 120B-A12B系列，并采用Star Elastic压缩和2-bit量化感知蒸馏。作者称，这些方法有助于在性能和内存占用之间取得平衡。模型名称中包含“24GB”，但摘要没有具体说明硬件要求，也未明确这是否是所需的最低内存。
它适合处理哪些任务？
论文聚焦于智能体任务，也就是模型通过调用工具或与软件交互来完成目标。作者称，他们针对推理、工具调用、网页浏览和终端交互对Bolt进行了优化。他们还训练了一个名为LiLiCorr的配套系统，并将其描述为“推测解码器”；作者称，该系统与模型一同发布，可帮助达到目标推理速度。摘要没有说明如何安装这两个系统，也未提及适用的许可证。
作者称，在GDPVal v2、BrowseComp和Terminal-Bench 2.1等基准测试中，Bolt的准确率高于内存占用和速度相近的领先模型。他们还表示，Bolt的速度可与激活参数量低得多的模型相媲美，足以胜任长时间运行的智能体任务。摘要没有提供基准分数或逐个模型的对比，因此仅凭摘要，读者无法判断这些提升有多大。
用户可以得出什么结论？
论文将Bolt定位为一款可在本地硬件上处理软件操作任务的视觉语言模型，适合不想依赖远程服务的用户。论文提到的24GB目标和RTX Spark上的速度数据，让人可以大致了解其预期部署方式，但并不能证明它在其他电脑上的表现。相关说法来自模型作者；摘要没有提供独立测试结果或获取方式。
为什么重要
对于希望在自己的电脑上运行AI智能体的人来说，Bolt被定位为一款面向本地任务、旨在适配24GB内存的模型。作者报告了可观的速度和基准测试结果，但摘要既未说明除RTX Spark外哪些硬件能够运行它，也没有提供详细分数，因此实际表现仍不确定。
