Un nuevo artículo de arXiv presenta Nemotron 3.5 Bolt 74B-A9B 24GB, un modelo de visión y lenguaje diseñado para tareas de IA local, como usar herramientas, navegar por la web y trabajar en una terminal. Sus autores afirman que está pensado para computadoras con memoria limitada y reportan 84 TPS en RTX Spark, una medida de la velocidad de inferencia. El resumen no especifica las condiciones de prueba de esa cifra.
El modelo combina los diseños Mamba y Transformer, dos enfoques para crear modelos de IA. Deriva de la familia Nemotron 3.5 Super VL 120B-A12B y utiliza compresión Star Elastic y destilación con ajuste de cuantización de 2 bits (2-bit Quantization-Aware Distillation). Los autores presentan estos métodos como una forma de equilibrar el rendimiento y el uso de memoria. El nombre del modelo incluye «24GB», pero el resumen no detalla los requisitos de hardware ni aclara si esa es la memoria mínima necesaria.
¿Para qué tareas está diseñado?
El artículo se centra en tareas con agentes: aquellas en las que un modelo usa herramientas o interactúa con programas para alcanzar un objetivo. Los autores afirman que optimizaron Bolt para el razonamiento, el uso de herramientas, la navegación web y las interacciones con terminales. También entrenaron un sistema complementario llamado LiLiCorr, descrito como un generador especulativo de borradores, y dicen que se publica junto con el modelo para ayudar a alcanzar la velocidad de inferencia prevista. El resumen no explica cómo instalar ninguno de los dos sistemas ni qué licencia se aplica.
Los autores reportan mayor precisión que la de modelos líderes con una huella de memoria similar y una velocidad comparable en pruebas como GDPVal v2, BrowseComp y Terminal-Bench 2.1. También afirman que la velocidad de Bolt es comparable a la de modelos con muchos menos parámetros activos y que basta para tareas prolongadas con agentes. El resumen no incluye puntuaciones ni comparaciones modelo por modelo, así que los lectores no pueden evaluar la magnitud de esas mejoras basándose solo en él.
¿Qué pueden concluir los usuarios?
El artículo presenta Bolt como una opción para quienes quieren que un modelo de visión y lenguaje realice tareas de software en hardware local, en lugar de depender de un servicio remoto. El objetivo de 24GB y la cifra de velocidad en RTX Spark dan una idea del tipo de implementación prevista, pero no demuestran cómo rinde en otras computadoras. Las afirmaciones del artículo proceden de los autores del modelo; el resumen no ofrece resultados de pruebas independientes ni información sobre el acceso.
Por qué importa
Para quienes esperan ejecutar un agente de IA en su propia computadora, Bolt se presenta como un modelo pensado para realizar tareas locales con una huella de memoria de 24GB. Sus autores reportan resultados prometedores de velocidad y rendimiento en pruebas, pero el resumen no indica qué hardware, además de RTX Spark, puede ejecutarlo ni ofrece puntuaciones detalladas, por lo que su rendimiento práctico sigue siendo incierto.
