연구: RLVR의 도메인 외 성능 향상, 대부분 답변 형식 효과

Zongye Lyu와 동료 연구진은 검증 가능한 보상을 활용한 강화학습(RLVR)을 살펴봤다. 공개된 모델 쌍 4개를 대상으로 7 billion 매개변수 기반 모델과 RL 학습 버전을 비교했다. 답변이 \boxed{} 태그 안에 있는지 확인하는 자체 추출기를 사용하자, 기존 공개 추출기로 측정한 도메인 외 객관식 성능 향상의 82%가 사라졌다. 성능 향상의 대부분은 답을 더 잘해서가 아니라, 모델이 답을 상자 안에 넣도록 바뀐 데서 비롯됐다.