Cohere از معیار ارزیابی تازهای با نام Rubric‑Calibrated Preferences nDCG@10 (RCP‑nDCG@10) رونمایی کرد. این معیار با استفاده از یک داور هوش مصنوعیِ کالیبرهشده، هر سند بازیابیشده را بر اساس معیارهای سنجش ارتباط ارزیابی میکند و تنها به پاسخهای ازپیشبرچسبخورده متکی نیست. در یک مطالعه دوسوکور با حضور انسان، این معیار در ۷۷ درصد موارد سامانهای را انتخاب کرد که بررسیکنندگان ترجیح میدادند؛ در حالی که این رقم برای nDCG متداول ۵۲ درصد بود. Cohere میگوید از RCP‑nDCG@10 برای بهینهسازی نسل بعدی مدلهای Embed و Rerank استفاده میکند و آن را به معیارسنج MTEB اضافه خواهد کرد.
این شرکت همچنین در پی یافتن شرکایی برای مرحله بتای خصوصی پلتفرم جستوجوی Compass Cloud است.
چرا مهم است
این معیار تصویری روشنتر از کیفیت جستوجو ارائه میدهد و به توسعهدهندگان کمک میکند سامانههایی بسازند که نتایجی واقعاً مرتبط نمایش میدهند.
