연구진은 답변하기 전에 정보를 검색하는 언어 모델을 위한 학습 방법인 자기 평가 강화학습(Self-Assessment Reinforcement Learning, SARL)을 제안했다. 이 방법은 모델이 지금까지 찾은 정보와 아직 부족한 정보를 파악하도록 학습시켜, 잘못된 추론과 너무 일찍 끝나는 검색을 줄이는 것을 목표로 한다.
저자들은 가장 성능이 뛰어난 기준 모델보다 상대적으로 24.3% 향상됐다고 보고했다. 다단계 추론 벤치마크에서는 평균 35.9%, 심층 연구 벤치마크에서는 해당 과제의 최고 기준 모델 대비 27.9% 개선됐다고 밝혔다. SARL은 답변을 생성하는 시점에 추가 평가가 필요하지 않다고 저자들은 설명했다. 다만 논문 초록에는 시험한 모델이 명시돼 있지 않고, 이 결과가 실제 배포된 검색 도구에도 적용되는지 판단할 만한 세부 정보도 충분하지 않다.
왜 중요한가
연구 보조 도구를 만드는 팀에 SARL은 실제 사용 단계에서 별도 절차를 추가하지 않고도 학습 과정에서 검색 현황을 추적하도록 가르칠 수 있음을 시사한다. 다만 초록만으로는 실제 제품에서도 효과가 있는지 확인할 수 없다.
