أعلنت Cohere عن مقياس تقييم جديد يحمل اسم Rubric‑Calibrated Preferences nDCG@10 (RCP‑nDCG@10). ويستخدم حكماً معايراً بالذكاء الاصطناعي لتقييم كل مستند مسترجع وفق معيار للملاءمة، بدلاً من الاعتماد حصراً على إجابات مرجعية موسومة مسبقاً. وفي دراسة بشرية معماة، اختار المقياس النظام الذي فضّله المراجعون في 77% من الحالات، مقابل 52% لمقياس nDCG التقليدي. وتقول Cohere إنها ستستخدم RCP‑nDCG@10 لتحسين الجيل المقبل من نموذجي Embed وRerank، وستضيفه إلى معيار MTEB.
وتبحث الشركة أيضاً عن شركاء للمشاركة في النسخة التجريبية الخاصة من منصة البحث Compass Cloud.
لماذا يهم
يقدّم هذا المقياس صورة أوضح عن جودة البحث، ويساعد المطورين على بناء أنظمة تعرض نتائج ذات صلة فعلية.
