Cohere가 새로운 평가 지표인 RCP-nDCG@10(Rubric-Calibrated Preferences nDCG@10)을 발표했다. 이 지표는 미리 정답으로 표시된 문서에만 의존하는 대신, 보정된 AI 평가자가 관련성 기준표에 따라 검색된 문서마다 점수를 매긴다. 블라인드 방식으로 진행한 사람 대상 연구에서 평가자들이 선호하는 시스템을 77%의 비율로 골랐다. 기존 nDCG의 선택 비율은 52%였다. Cohere는 차세대 Embed 및 Rerank 모델을 최적화하는 데 RCP-nDCG@10을 활용하고, MTEB 벤치마크에도 추가할 계획이라고 밝혔다.
Cohere는 검색 플랫폼 Compass Cloud의 비공개 베타 테스트에 참여할 파트너도 찾고 있다.
왜 중요한가
이 지표는 검색 품질을 더 명확하게 보여줘 개발자가 실제로 관련성 높은 결과를 제공하는 시스템을 만드는 데 도움을 준다.
