Cohere heeft een nieuwe evaluatiemaatstaf aangekondigd: Rubric-Calibrated Preferences nDCG@10 (RCP-nDCG@10). Een gekalibreerde AI-beoordelaar scoort elk opgehaald document aan de hand van een relevantierubric, in plaats van uitsluitend te vertrouwen op vooraf gelabelde antwoordsleutels. In een geblindeerd onderzoek onder mensen koos de maatstaf in 77% van de gevallen het systeem dat de beoordelaars verkozen, tegenover 52% bij conventionele nDCG. Cohere zegt RCP-nDCG@10 te gaan gebruiken om zijn Embed- en Rerank-modellen van de volgende generatie te optimaliseren en de maatstaf toe te voegen aan de MTEB-benchmark.
Het bedrijf zoekt ook partners voor de private bèta van zijn zoekplatform Compass Cloud.
Waarom het ertoe doet
De maatstaf geeft een duidelijker beeld van de kwaliteit van zoekresultaten en helpt ontwikkelaars systemen te bouwen die daadwerkelijk relevante resultaten opleveren.
