新たなarXiv論文で、ツールの利用やウェブ閲覧、ターミナルでの作業といったローカルAIタスク向けの視覚言語モデル「Nemotron 3.5 Bolt 74B-A9B 24GB」が紹介された。開発者によると、メモリーに制約のあるコンピューター向けに設計されており、推論速度の指標であるTPSはRTX Sparkで84だという。この速度の測定条件は、概要には記載されていない。
このモデルは、AIモデルの構築に使われる2つの方式、MambaとTransformerを組み合わせている。Nemotron 3.5 Super VL 120B-A12Bファミリーをベースに、Star Elastic圧縮と2-bit Quantization-Aware Distillationを採用。開発者は、これらの手法によって性能とメモリー使用量のバランスを取れるとしている。モデル名には「24GB」とあるが、概要では必要なハードウェア要件や、最低限必要なメモリー容量について説明されていない。
どのようなタスク向け？
論文が焦点を当てるのは、モデルがツールを使ったりソフトウェアを操作したりして、目的を達成するエージェント型タスクだ。開発者によると、Boltは推論、ツール利用、ウェブ閲覧、ターミナル操作に最適化されている。また、投機的ドラフターと説明される補助システム「LiLiCorr」も開発し、目標とする推論速度の実現を支援するため、モデルと併せて公開するとしている。概要には、どちらのシステムの導入方法や適用ライセンスも記載されていない。
開発者は、GDPVal v2、BrowseComp、Terminal-Bench 2.1などのベンチマークで、同程度のメモリー容量と速度を持つ有力モデルより高い精度を達成したと報告している。また、Boltの速度は、アクティブなパラメーター数がはるかに少ないモデルに匹敵し、長時間にわたるエージェントタスクにも十分だとしている。ただし、概要にはベンチマークのスコアやモデルごとの比較結果がなく、これだけでは性能向上の幅を判断できない。
利用者が分かることは？
この論文は、リモートサービスに頼らず、ローカルのハードウェア上でソフトウェア関連の作業を処理する視覚言語モデルを探している人に向けて、Boltを選択肢として位置付けている。想定されるメモリー容量として示された24GBと、RTX Sparkでの速度は、利用環境の目安にはなるものの、ほかのコンピューターでの性能を保証するものではない。性能に関する主張はモデルの開発者によるもので、概要には第三者によるテスト結果や入手方法の詳細は示されていない。
なぜ重要か
自分のコンピューターでAIエージェントを動かしたい人に向け、Boltはローカルでのタスク処理を24GBのメモリー容量に収めることを目指すモデルとして紹介されている。開発者は有望な速度とベンチマーク結果を報告しているが、RTX Spark以外にどのハードウェアで動作するのか、詳細なスコアも概要には示されておらず、実用時の性能はまだ不確かだ。
