연구진은 코딩이나 연구 과제에서 이후 단계가 결과를 드러내기 전에 AI 모델이 더 나은 방향을 선택할 수 있는지 평가하는 502개 문항의 시험 ‘Taste-Bench’를 선보였다. 14개 모델을 시험한 결과 GPT-5.6 Sol이 59.7%로 가장 높은 점수를 기록했다. 답변 순서를 바꿔도 모델이 모두 정답을 선택한 경우에만 정답으로 인정했다.
단서가 이미 보이는 경우 정확도 평균은 62.3%였지만, 단서가 훨씬 뒤에야 나타나는 경우에는 21%로 떨어졌다. 연구진은 별도의 에이전트에 조언하도록 Qwen3.6-27B 모델도 훈련했다. 분리해 둔 SWE-bench Pro 과제 41개에서 성공률은 14.6%에서 33.7%로 올랐다. 연구팀은 벤치마크와 코드를 공개했다고 밝혔다.
왜 중요한가
코딩 에이전트를 사용하는 팀이라면 과제 마지막의 테스트를 통과했다는 사실만으로는 에이전트가 이후 작업에 도움이 되는 선택을 했는지 알 수 없다는 점을 이번 결과가 시사한다. Taste-Bench가 일상적인 배포 환경에서의 성능을 예측하는지는 아직 밝혀지지 않았다.
