Oossa

문서가 많아지면 RAG 정확도 떨어져…연구 결과

서로 다른 유형의 문서를 추가하자 검색 증강 생성 성능이 저하됐다. 한 실험에서 정밀도는 63% 하락했다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

Nabaraj Subedi가 이끄는 연구진은 문서 집합의 규모가 커질 때 검색 증강 생성(RAG) 성능이 어떻게 달라지는지 조사했다. 와이오밍주 교통부(DOT) 시스템에서 문서 모음을 54개에서 1,128개로 늘리자 정밀도@10은 63% 떨어졌고, 답을 담은 문서를 찾는 재현율은 23% 낮아졌다. 논문은 추가 학습 없이 관련 도메인으로 검색 범위를 제한하는 소프트 스코핑 기법을 제안한다. 연구진은 먼저 소프트 스코핑을 적용한 뒤 한 번의 종합 호출을 사용할 것을 권고한다.

왜 중요한가

RAG 기반 챗봇 개발자는 도메인 범위를 제한하지 않으면 문서를 추가할수록 답변 정확도가 오히려 떨어질 수 있다는 점을 고려해야 한다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.