# Taste-Bench, AI 에이전트의 장기적 선택 능력 시험…최고 점수 59.7%

> 502개 문항으로 결과가 드러나기 전에 AI가 더 나은 경로를 선택하는지 평가했다. 시험 대상 모델 가운데 최고 점수는 59.7%였다.

Oossa · 2026-10-18 · https://oossa.com/ko/taste-bench-finds-ai-agents-struggle-with-long-term-choices

연구진은 코딩이나 연구 과제에서 이후 단계가 결과를 드러내기 전에 AI 모델이 더 나은 방향을 선택할 수 있는지 평가하는 502개 문항의 시험 ‘Taste-Bench’를 선보였다. 14개 모델을 시험한 결과 GPT-5.6 Sol이 59.7%로 가장 높은 점수를 기록했다. 답변 순서를 바꿔도 모델이 모두 정답을 선택한 경우에만 정답으로 인정했다.

단서가 이미 보이는 경우 정확도 평균은 62.3%였지만, 단서가 훨씬 뒤에야 나타나는 경우에는 21%로 떨어졌다. 연구진은 별도의 에이전트에 조언하도록 Qwen3.6-27B 모델도 훈련했다. 분리해 둔 SWE-bench Pro 과제 41개에서 성공률은 14.6%에서 33.7%로 올랐다. 연구팀은 벤치마크와 코드를 공개했다고 밝혔다.

## 팩트

- Taste-Bench는 에이전트가 실행한 과정에서 발생한 의사결정 지점을 바탕으로 만든 502개 문항으로 구성된다.
- 훈련된 Qwen3.6-27B의 조언을 적용하자, 분리해 둔 SWE-bench Pro 문제 41개에서 과제 성공률이 14.6%에서 33.7%로 올랐다.

## 왜 중요한가

코딩 에이전트를 사용하는 팀이라면 과제 마지막의 테스트를 통과했다는 사실만으로는 에이전트가 이후 작업에 도움이 되는 선택을 했는지 알 수 없다는 점을 이번 결과가 시사한다. Taste-Bench가 일상적인 배포 환경에서의 성능을 예측하는지는 아직 밝혀지지 않았다.

## 출처 및 참고 자료

1. [AI agents have bad taste in long-term decisions and a new benchmark proves it](https://the-decoder.com/ai-agents-have-bad-taste-in-long-term-decisions-and-a-new-benchmark-proves-it/) – The Decoder, 2026-10-18

최종 업데이트: 2026-10-18