Um novo artigo no arXiv apresenta o Nemotron 3.5 Bolt 74B-A9B 24GB, um modelo de visão e linguagem projetado para tarefas locais de IA, como usar ferramentas, navegar na web e trabalhar em um terminal. Segundo os autores, ele foi desenvolvido para computadores com memória limitada e alcança 84 TPS no RTX Spark, uma medida da velocidade de inferência. O resumo não informa as condições de teste usadas para chegar a esse número.
O modelo combina as arquiteturas Mamba e Transformer, duas abordagens para criar modelos de IA. Ele deriva da família Nemotron 3.5 Super VL 120B-A12B e usa compressão Star Elastic e destilação com reconhecimento de quantização a 2 bits (Quantization-Aware Distillation). Os autores apresentam esses métodos como uma forma de equilibrar o desempenho e o uso de memória. O nome do modelo inclui “24GB”, mas o resumo não detalha os requisitos de hardware nem diz se essa é a memória mínima necessária.
Para quais tarefas ele foi projetado?
O artigo se concentra em tarefas agênticas: atividades em que um modelo usa ferramentas ou interage com programas para cumprir um objetivo. Os autores dizem que otimizaram o Bolt para raciocínio, uso de ferramentas, navegação na web e interações com o terminal. Também treinaram um sistema complementar chamado LiLiCorr, descrito como um gerador especulativo de rascunhos, e afirmam que ele é disponibilizado junto com o modelo para ajudar a atingir a velocidade de inferência pretendida. O resumo não explica como instalar nenhum dos sistemas nem informa quais licenças se aplicam.
Os autores relatam maior precisão que a de modelos líderes com uso de memória semelhante e velocidade comparável em benchmarks como GDPVal v2, BrowseComp e Terminal-Bench 2.1. Também dizem que a velocidade do Bolt é comparável à de modelos com um número muito menor de parâmetros ativos e suficiente para tarefas agênticas de longa duração. O resumo não apresenta pontuações dos benchmarks nem comparações modelo a modelo; portanto, os leitores não conseguem avaliar a dimensão desses ganhos apenas com base nele.
O que os usuários podem concluir?
O artigo apresenta o Bolt como uma opção para quem quer que um modelo de visão e linguagem execute tarefas de software em hardware local, em vez de depender de um serviço remoto. A meta de 24GB e o dado de velocidade no RTX Spark dão uma ideia do uso pretendido, mas não comprovam o desempenho em outros computadores. As afirmações sobre o modelo são dos próprios autores; o resumo não apresenta resultados de testes independentes nem informações sobre como acessá-lo.
Por que importa
Para quem espera executar um agente de IA no próprio computador, o Bolt é apresentado como um modelo voltado a realizar tarefas locais dentro de um limite de memória de 24GB. Os autores relatam velocidade e resultados promissores em benchmarks, mas o resumo não informa em quais outros hardwares, além do RTX Spark, ele pode funcionar nem apresenta pontuações detalhadas. Por isso, o desempenho na prática ainda é incerto.
