A Cohere anunciou uma nova métrica de avaliação chamada Rubric-Calibrated Preferences nDCG@10 (RCP-nDCG@10). Ela usa um avaliador de IA calibrado para pontuar cada documento recuperado com base em uma rubrica de relevância, em vez de depender apenas de gabaritos pré-classificados. Em um estudo cego com participantes, a métrica identificou o sistema preferido pelos avaliadores em 77% das vezes, contra 52% para a nDCG convencional. A Cohere afirma que usará a RCP-nDCG@10 para otimizar suas próximas gerações de modelos Embed e Rerank e que a incluirá no benchmark MTEB.
A empresa também está buscando parceiros para a versão beta privada de sua plataforma de busca Compass Cloud.
Por que importa
A métrica oferece uma visão mais clara da qualidade das buscas e ajuda desenvolvedores a criar sistemas que retornem resultados realmente relevantes.
