Cohere har presenterat ett nytt utvärderingsmått, Rubric-Calibrated Preferences nDCG@10 (RCP-nDCG@10). En kalibrerad AI-bedömare poängsätter varje hämtat dokument utifrån en relevansrubrik, i stället för att enbart förlita sig på facit med förhandsmärkta svar. I en blindad studie med mänskliga bedömare valde måttet det system som granskarna föredrog i 77 procent av fallen, jämfört med 52 procent för konventionell nDCG. Cohere uppger att företaget ska använda RCP-nDCG@10 för att optimera nästa generation av Embed- och Rerank-modeller och lägga till måttet i MTEB-benchmarken.
Företaget söker också partner till en privat betaversion av sökplattformen Compass Cloud.
Varför det spelar roll
Måttet ger en tydligare bild av sökkvaliteten och hjälper utvecklare att bygga system som levererar verkligt relevanta resultat.
