Cohere anunció una nueva métrica de evaluación llamada Rubric-Calibrated Preferences nDCG@10 (RCP-nDCG@10). Utiliza un evaluador de IA calibrado para puntuar cada documento recuperado según una rúbrica de relevancia, en lugar de depender únicamente de respuestas etiquetadas de antemano. En un estudio ciego con personas, la métrica identificó el sistema preferido por los evaluadores en el 77 % de los casos, frente al 52 % del nDCG convencional. Cohere afirma que utilizará RCP-nDCG@10 para optimizar sus modelos Embed y Rerank de próxima generación y que la incorporará al benchmark MTEB.
La empresa también busca socios para la beta privada de su plataforma de búsqueda Compass Cloud.
Por qué importa
La métrica ofrece una imagen más clara de la calidad de las búsquedas y ayuda a los desarrolladores a crear sistemas que devuelvan resultados verdaderamente relevantes.
