Cohere a annoncé une nouvelle métrique d’évaluation baptisée Rubric-Calibrated Preferences nDCG@10 (RCP-nDCG@10). Elle s’appuie sur un évaluateur IA calibré qui attribue une note à chaque document récupéré selon une grille de pertinence, plutôt que de se fier uniquement à des réponses de référence pré-étiquetées. Lors d’une étude à l’aveugle menée auprès de personnes, la métrique a sélectionné le système préféré par les évaluateurs dans 77 % des cas, contre 52 % pour le nDCG classique. Cohere indique qu’elle utilisera RCP-nDCG@10 pour optimiser ses modèles Embed et Rerank de nouvelle génération et l’ajoutera au benchmark MTEB.
L’entreprise recherche également des partenaires pour la bêta privée de sa plateforme de recherche Compass Cloud.
Pourquoi c'est important
Cette métrique donne une vision plus précise de la qualité de la recherche et aide les développeurs à créer des systèmes qui renvoient des résultats vraiment pertinents.
