# 연구: RLVR의 도메인 외 성능 향상, 대부분 답변 형식 효과

> 중립적인 추출기로 다시 채점하자 보고된 성능 향상의 82%가 사라졌다. 답변 형식에 따른 효과였다는 뜻이다.

Oossa · 2026-10-16 · https://oossa.com/ko/study-finds-most-rlvr-out-of-domain-gains-come-from-answer-formatting

Zongye Lyu와 동료 연구진은 검증 가능한 보상을 활용한 강화학습(RLVR)을 살펴봤다. 공개된 모델 쌍 4개를 대상으로 7 billion 매개변수 기반 모델과 RL 학습 버전을 비교했다. 답변이 \boxed{} 태그 안에 있는지 확인하는 자체 추출기를 사용하자, 기존 공개 추출기로 측정한 도메인 외 객관식 성능 향상의 82%가 사라졌다. 성능 향상의 대부분은 답을 더 잘해서가 아니라, 모델이 답을 상자 안에 넣도록 바뀐 데서 비롯됐다.

## 팩트

- 새 추출기로 채점하면 보고된 성능 향상의 82%가 사라진다
- 연구는 2026-10-16에 공개됐다

## 왜 중요한가

RLVR로 주장된 성능 향상이 실제 추론 능력의 개선이 아니라 답변을 파싱하는 방식에서 비롯된 착시일 수 있음을 보여준다.

## 출처 및 참고 자료

1. [Same Answer, New Box: How Much of RLVR's Out-of-Domain Gain Is Answer Format?](https://arxiv.org/abs/2610.20639) – arXiv cs.LG, 2026-10-16

최종 업데이트: 2026-10-16