研究者らは、コーディングや調査の作業で、後の段階で結果が明らかになる前にAIモデルがよりよい方向を選べるかを測る502問のテスト「Taste-Bench」を発表した。14モデルをテストしたところ、GPT-5.6 Solが59.7%で最高スコアを記録。回答の順序を入れ替えても正解した場合に限り、正解として数えた。
手がかりがすでに見えている場合の正答率は平均62.3%だったが、ずっと後になって初めて現れる場合は21%に低下した。研究者らはさらに、別のエージェントに助言するQwen3.6-27Bモデルを訓練した。学習に使っていないSWE-bench Proの41タスクでは、成功率が14.6%から33.7%に上昇した。チームによると、ベンチマークとコードは公開されている。
なぜ重要か
コーディングエージェントを使うチームにとって、この結果は、タスク終了時のテストに合格しても、エージェントが後続の作業に役立つ判断をしているとは限らないことを示唆する。ただし、Taste-Benchが日常的な運用での性能を予測できるかどうかは、まだ分かっていない。
