새 arXiv 논문은 도구 사용, 웹 검색, 터미널 작업 등 로컬 AI 작업을 위해 설계된 비전·언어 모델 Nemotron 3.5 Bolt 74B-A9B 24GB를 소개합니다. 저자들은 메모리가 제한된 컴퓨터를 염두에 두고 만들었으며, 추론 속도를 나타내는 지표인 TPS가 RTX Spark에서 84라고 밝혔습니다. 다만 초록에는 이 속도를 측정한 테스트 환경이 제시되지 않았습니다.
이 모델은 AI 모델을 구축하는 두 가지 방식인 Mamba와 Transformer 설계를 결합했습니다. Nemotron 3.5 Super VL 120B-A12B 제품군을 기반으로 하며, Star Elastic 압축과 2-bit Quantization-Aware Distillation을 사용합니다. 저자들은 이런 기법으로 성능과 메모리 사용량 사이의 균형을 맞췄다고 설명합니다. 모델 이름에 ‘24GB’가 포함돼 있지만, 초록에는 하드웨어 요구 사항이나 필요한 최소 메모리 용량이 명시돼 있지 않습니다.
어떤 작업을 위해 설계됐나?
논문은 모델이 목표를 달성하기 위해 도구를 사용하거나 소프트웨어와 상호작용하는 에이전트형 작업에 초점을 맞춥니다. 저자들은 Bolt가 추론, 도구 사용, 웹 검색, 터미널 상호작용에 최적화됐다고 밝혔습니다. 또 speculative drafter로 설명한 보조 시스템 LiLiCorr도 함께 학습했으며, 목표 추론 속도에 도달하는 데 도움이 되도록 모델과 함께 공개한다고 말합니다. 초록에는 두 시스템의 설치 방법이나 적용 라이선스가 설명돼 있지 않습니다.
저자들은 GDPVal v2, BrowseComp, Terminal-Bench 2.1 등을 포함한 벤치마크에서 메모리 사용량과 속도가 비슷한 주요 모델보다 정확도가 높다고 보고했습니다. 또한 Bolt의 속도는 활성 매개변수 수가 훨씬 적은 모델과 비슷하며, 장시간 실행되는 에이전트 작업에도 충분하다고 밝혔습니다. 하지만 초록에는 벤치마크 점수나 모델별 비교 결과가 없어, 요약만으로는 성능 향상의 폭을 판단하기 어렵습니다.
사용자는 무엇을 알 수 있나?
논문은 원격 서비스에 의존하지 않고 로컬 하드웨어에서 소프트웨어 작업을 처리할 비전·언어 모델을 원하는 사람들에게 Bolt를 선택지로 제시합니다. 저자들이 제시한 24GB 목표 사양과 RTX Spark 속도는 예상 배포 환경을 가늠하는 데 도움이 되지만, 다른 컴퓨터에서의 성능을 입증하지는 않습니다. 논문에 담긴 주장은 모델 저자들의 것이며, 초록에는 독립적인 테스트 결과나 모델을 이용할 수 있는 방법이 제시되지 않았습니다.
왜 중요한가
자신의 컴퓨터에서 AI 에이전트를 실행하려는 사람들에게 Bolt는 로컬 작업을 24GB 메모리 환경에서 처리하는 것을 목표로 한 모델로 소개됐습니다. 저자들은 고무적인 속도와 벤치마크 결과를 보고했지만, RTX Spark 외에 어떤 하드웨어에서 실행할 수 있는지 밝히지 않았고 상세 점수도 공개하지 않아 실제 성능은 아직 불확실합니다.
