Cohere объявила о новой метрике оценки — Rubric-Calibrated Preferences nDCG@10 (RCP-nDCG@10). Она использует откалиброванную модель ИИ, чтобы оценивать каждый найденный документ по критериям релевантности, а не полагаться только на заранее размеченные эталонные ответы. В слепом исследовании с участием людей метрика выбрала систему, которую предпочли рецензенты, в 77% случаев против 52% у стандартной nDCG. Cohere сообщила, что будет использовать RCP-nDCG@10 для оптимизации моделей Embed и Rerank следующего поколения и добавит метрику в бенчмарк MTEB.
Компания также ищет партнёров для закрытого бета-тестирования своей поисковой платформы Compass Cloud.
Почему это важно
Метрика позволяет точнее оценивать качество поиска и помогает разработчикам создавать системы, которые выдают действительно релевантные результаты.
