Nabaraj Subedi가 이끄는 연구진은 문서 집합의 규모가 커질 때 검색 증강 생성(RAG) 성능이 어떻게 달라지는지 조사했다. 와이오밍주 교통부(DOT) 시스템에서 문서 모음을 54개에서 1,128개로 늘리자 정밀도@10은 63% 떨어졌고, 답을 담은 문서를 찾는 재현율은 23% 낮아졌다. 논문은 추가 학습 없이 관련 도메인으로 검색 범위를 제한하는 소프트 스코핑 기법을 제안한다. 연구진은 먼저 소프트 스코핑을 적용한 뒤 한 번의 종합 호출을 사용할 것을 권고한다.
왜 중요한가
RAG 기반 챗봇 개발자는 도메인 범위를 제한하지 않으면 문서를 추가할수록 답변 정확도가 오히려 떨어질 수 있다는 점을 고려해야 한다.