Cohere hat eine neue Bewertungsmetrik namens Rubric-Calibrated Preferences nDCG@10 (RCP-nDCG@10) vorgestellt. Dabei bewertet ein kalibrierter KI-Judge jedes abgerufene Dokument anhand eines Relevanzrasters, statt sich ausschließlich auf vorab gekennzeichnete Antwortschlüssel zu stützen. In einer verblindeten Studie mit menschlichen Bewertenden wählte die Metrik in 77 % der Fälle das System, das die Prüfenden bevorzugten – bei herkömmlichem nDCG waren es 52 %. Cohere zufolge will das Unternehmen RCP-nDCG@10 nutzen, um seine Embed- und Rerank-Modelle der nächsten Generation zu optimieren, und die Metrik in den MTEB-Benchmark aufnehmen.
Zudem sucht das Unternehmen Partner für eine private Betaphase seiner Suchplattform Compass Cloud.
Warum es wichtig ist
Die Metrik vermittelt ein klareres Bild der Suchqualität und hilft Entwicklerinnen und Entwicklern, Systeme zu bauen, die tatsächlich relevante Ergebnisse liefern.
