Oossa

Cohere、企業検索評価指標「RCP-nDCG@10」を発表

Cohereが導入したAI判定型の関連性指標「RCP-nDCG@10」は、従来のnDCGより人間の評価に近い結果を示す。

短信OossaOossa公開日: 1 分で読める

1 件の出典 ↓AIの支援で作成・翻訳しています。以下の原典をご確認ください。

Cohereは、新たな評価指標「Rubric-Calibrated Preferences nDCG@10（RCP-nDCG@10）」を発表した。この指標は、事前にラベル付けされた正解データだけに頼るのではなく、調整済みのAI判定モデルを使い、取得した文書を関連性の評価基準に照らして一つずつ採点する。人間を対象にしたブラインド調査では、評価者が好むシステムを77％の割合で選び、従来のnDCGの52％を上回った。Cohereは次世代のEmbedおよびRerankモデルの最適化にRCP-nDCG@10を活用するほか、MTEBベンチマークにも追加する予定だ。

同社は、検索プラットフォーム「Compass Cloud」のプライベートベータに参加するパートナーも募集している。

なぜ重要か

検索品質をより明確に把握できるため、開発者は本当に関連性の高い結果を返すシステムを構築しやすくなる。

出典と参考資料

1 件の出典
  1. Cohere原典を読む
発行者: OLY Europe LTD (VAT BG207334983), General Tsimerman 56, 9002 Varna, BG誤りを報告

最終更新: ·Markdown

この記事は役に立ちましたか？
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。