研究者らが発表したPLVRは、教師モデルの段階的な実行記録を、再利用可能なプログラムに変換する手法だ。このプログラムは、重みを固定した小型言語モデル（80億パラメーターのモデルも含む）と並行して動作し、その行動を導く。通信分野のテストセットでは、8BのGranite-4.2モデルにPLVRを組み合わせると、正解率が43％から91.2％に上昇した。
PLVRの仕組み
まず、教師モデルのKimi-K3が、ツール利用の問題を解く際の推論記録を残す。PLVRはその記録を分類し、繰り返し現れる処理を見つける。各処理について、「frontier」モデルが、型付きの短いプリミティブを作成し、重みを固定した小型モデルが実行できるようにする。次に、システムはA*探索を使ってプリミティブをつなぎ合わせ、最終的に正しい行動を取れるよう最適化する。推論時には、このプログラムが学生モデルに思考の連鎖を与えてその指針とするか、提案されたツール操作を送信前に一つずつ検証・修正する。
分野別の結果
同じPLVRプログラムを、3種類のNemotronベースモデルとGranite-4.2-8Bに適用し、通信、小売、LiveMCPBench（手順に沿ったツール利用の評価セット）の3つのベンチマークで検証した。通信分野では、Nemotronの各モデルが93.3～94.4％の正解率を達成し、PLVRを組み合わせた8Bモデルも91.2％に達した。差はわずか数ポイントだった。小売とLiveMCPBenchでも、PLVRプログラムは公表済みの最良ベースラインに対して競争力を保ったが、後者では3～13ポイント下回った。また、この手法により、ベースモデル間の性能差は平均で約7ポイントから約2ポイントに縮まった。
なぜ重要か
ツール利用型アシスタントを開発する人にとって、PLVRは、明示的なプログラムで導けば、比較的低コストな8Bモデルでもはるかに大きなモデルに近い性能を発揮できることを示している。計算コストを抑え、こうしたアシスタントをより利用しやすくできる可能性がある一方、この手法は質の高い教師モデルの実行記録に依存し、分野によって効果が異なる場合もある。
