新たなarXiv論文によると、テキストについて直接判定するよう設計された一部のモデルは、一般的な評価テストで、より大規模な文章生成型AI審査モデルに並ぶか、それを上回る。こうしたモデルは、説明文を書かずに「はい／いいえ」や選択肢、スコアなど、形式が指定された質問に答える。論文ではこれらを「System-1」判定モデルと呼び、GPT-5.6やClaude Opus 5.5のようなモデルより低コストでAIの回答を評価できるかを検証した。
研究チームは、14種類の判定モデルを4種類の生成型審査モデルと比較し、確立された11のベンチマークでテストした。ペア比較とbest-of-4のテストでは、判定モデル5種類が、推論機能を使わないGPT-5.6と統計的に有意な差のない成績を収めた。また論文によると、DReX-Maxとd1-ultraはJudgeBench、LLMBar、RewardBench 2でClaude Haiku 5.5を有意に上回った。
参照回答の有無で結果が変化
参照回答を与えると、審査のスコアは大きく向上した。各プロンプトに対して参照回答を1回生成した場合、判定モデル11種類のJudgeBenchでのスコアは90.3%から93.4%だった。研究チームによると、これらのスコアは、推論を使うGPT-5.6および思考機能を使うClaude Opus 5.5と統計的に有意な差がなかった。
論文によれば、PPEのbest-of-16テストでは、参照回答を与えられた判定モデルはすべて、推論を使うGPT-5.6に並ぶ成績を、プロンプト当たりおよそ16分の1のコストで達成した。ただし、この比較は参照回答を利用できることが前提であり、参照回答なしで審査した結果ではない。論文の要旨には、モデルの利用条件やコスト計算の内訳は記載されていない。
この手法には限界も
すべてのモデルや懸念事項で結果が一貫していたわけではない。審査対象の内容に指示を加えたところ、判定モデル5種類では正しい判定が変わったケースは0～5%だった一方、残る9種類では17～49%に上った。こうした指示への耐性は、判定モデルであるかどうかだけで決まるのではなく、個々のモデルによって異なると論文は指摘している。
また研究では、判定タスクを含まない汎用の判定モデル向けリーダーボード2つが、審査の正確性を高い精度で予測していたと報告している。これは研究者がモデルの候補を絞る際に役立つ可能性があるが、どのモデルでも審査役としてうまく機能することを示すものではない。今回の結果は単一研究におけるベンチマークの評価であり、現実のあらゆる用途で判定モデルが生成型審査モデルに取って代われる証明ではない。
なぜ重要か
AIが生成した回答をAIで採点するチームにとって、特に参照回答を用意できる場合、より低コストの選択肢を試せる可能性がある。一方、指示を紛れ込ませた場合の対応にはモデル間で大きな差があった。この研究は、特定の判定モデルが文章生成型の審査モデルに安全かつ汎用的に取って代われることを示してはいない。
