Cohere ha annunciato una nuova metrica di valutazione, chiamata Rubric-Calibrated Preferences nDCG@10 (RCP-nDCG@10). La metrica usa un valutatore IA calibrato per assegnare un punteggio a ogni documento recuperato in base a criteri di rilevanza, anziché affidarsi soltanto a risposte corrette etichettate in precedenza. In uno studio in cieco condotto su persone, la metrica ha individuato il sistema preferito dai valutatori nel 77% dei casi, contro il 52% ottenuto con il convenzionale nDCG. Cohere afferma che userà RCP-nDCG@10 per ottimizzare i suoi modelli Embed e Rerank di nuova generazione e che la aggiungerà al benchmark MTEB.
L’azienda è inoltre alla ricerca di partner per la beta privata della sua piattaforma di ricerca Compass Cloud.
Perché conta
La metrica offre un quadro più chiaro della qualità della ricerca e aiuta gli sviluppatori a creare sistemi capaci di restituire risultati davvero pertinenti.
