새 arXiv 연구에 따르면 텍스트에 대해 직접 판정을 내리도록 설계된 일부 모델은 일반적인 평가 테스트에서 더 크고 텍스트를 생성하는 AI 평가 모델과 대등하거나 더 나은 성적을 낼 수 있다. 이 모델들은 설명을 작성하지 않고 예·아니요, 객관식, 점수처럼 정해진 형식의 질문에 답한다. 논문은 이를 ‘System-1’ 판정 모델이라 부르며, GPT-5.6과 Claude Opus 5.5 같은 모델보다 낮은 비용으로 AI 답변을 평가할 수 있는지 살펴봤다.
연구진은 14개 판정 모델을 11개 기존 벤치마크에서 생성형 평가 모델 4종과 비교했다. 판정 모델 5종은 연구의 쌍대 비교 및 best-of-4 테스트에서 추론 기능을 사용하지 않은 GPT-5.6과 통계적으로 구분되지 않는 성적을 냈다. 논문에 따르면 DReX-Max와 d1-ultra는 JudgeBench, LLMBar, RewardBench 2에서 Claude Haiku 5.5보다 통계적으로 유의하게 높은 점수를 기록했다.
참고 답안이 결과를 바꿨다
평가자에게 참고 답안을 제공하자 점수가 크게 올랐다. 프롬프트마다 참고 답안을 한 번씩 생성해 제공했을 때, 판정 모델 11종은 JudgeBench에서 90.3~93.4%를 기록했다. 연구진은 이 점수가 추론 기능을 켠 GPT-5.6 및 thinking 기능을 사용한 Claude Opus 5.5와 통계적으로 구분되지 않는다고 밝혔다.
논문에 따르면 PPE의 best-of-16 테스트에서는 참고 답안을 제공받은 모든 판정 모델이 추론 기능을 켠 GPT-5.6과 대등한 성적을 내면서 프롬프트당 비용은 약 16분의 1에 그쳤다. 다만 이 비교는 참고 답안을 이용할 수 있다는 전제에 기반하며, 참고 답안 없이 평가한 결과는 아니다. 초록에는 모델 이용 조건이나 비용 산정 내역이 제시되지 않았다.
접근 방식에는 한계가 있다
모든 모델과 평가 항목에서 결과가 일관되게 나타난 것은 아니다. 연구진이 평가 대상 자료에 지시문을 추가했을 때, 판정 모델 5종은 0~5%의 사례에서 정답 판정이 바뀌었지만 나머지 9종에서는 17~49%의 사례에서 바뀌었다. 논문은 이런 지시문에 대한 저항력이 판정 모델이라는 유형 자체가 아니라 개별 모델에 따라 달라진다고 설명한다.
연구는 평가 과제를 포함하지 않는 범용 판정 모델 리더보드 2종의 결과가 평가 정확도를 높은 수준으로 예측했다고도 밝혔다. 이는 연구진이 후보 모델을 추리는 데 도움이 될 수 있지만, 모든 모델이 평가자로 잘 작동한다는 뜻은 아니다. 이번 결과는 한 연구의 벤치마크 결과일 뿐, 판정 모델이 실제 사용 전반에서 생성형 평가 모델을 대체할 수 있다는 증거는 아니다.
왜 중요한가
AI가 생성한 답변을 AI로 채점하는 팀은 비용이 더 낮은 대안을 시험해 볼 수 있다. 특히 참고 답안을 제공할 수 있다면 그렇다. 하지만 이번 연구에서는 모델마다 삽입된 지시문에 대응하는 방식에 큰 차이가 나타났다. 따라서 특정 판정 모델이 텍스트 생성형 평가 모델을 안전하게, 범용적으로 대체할 수 있다고 결론 내릴 수는 없다.
