Cohere推出企业搜索评估指标RCP-nDCG@10

Cohere宣布推出一项名为“基于标尺校准偏好的nDCG@10”（RCP-nDCG@10）的新评估指标。它使用经过校准的AI评判器，依据相关性标准为每篇检索到的文档打分，而非仅依赖预先标注的答案。在一项盲测人工研究中，该指标选中评审人员更偏好系统的比例为77%，而传统nDCG为52%。Cohere表示，将使用RCP-nDCG@10优化下一代Embed和Rerank模型，并将其纳入MTEB基准测试。

该公司还在为其Compass Cloud搜索平台寻找私人测试合作伙伴。