RLVRの領域外性能向上、82％は回答形式の影響と判明

Zongye Lyu氏らの研究チームは、検証可能な報酬を用いる強化学習（RLVR）を調査した。公開されている4組のモデルについて、70億パラメーターのベースモデルと、そのモデルをRLで学習させたバージョンを比較した。\boxed{}タグ内の回答を探す独自の抽出器を使ったところ、公開されている抽出器で報告された領域外の選択式問題の性能向上のうち82％が消失した。向上の大半は、モデルがより正しく答えるようになったのではなく、回答をボックス内に移したことによるものだった。