Cohere ने Rubric-Calibrated Preferences nDCG@10 (RCP-nDCG@10) नाम का नया मूल्यांकन मापदंड पेश किया है। यह पहले से लेबल किए गए उत्तरों पर ही निर्भर रहने के बजाय, एक कैलिब्रेटेड AI जज से प्राप्त हर दस्तावेज़ को प्रासंगिकता के मानदंड के आधार पर अंक देता है। बिना नाम बताए किए गए मानव अध्ययन में, इस मापदंड ने 77% मामलों में वह सिस्टम चुना जिसे समीक्षकों ने पसंद किया—जबकि पारंपरिक nDCG के लिए यह आंकड़ा 52% था। Cohere का कहना है कि वह अगली पीढ़ी के Embed और Rerank मॉडल को बेहतर बनाने के लिए RCP-nDCG@10 का इस्तेमाल करेगी और इसे MTEB बेंचमार्क में भी शामिल करेगी।
कंपनी अपने Compass Cloud सर्च प्लेटफॉर्म के लिए निजी बीटा साझेदारों की तलाश भी कर रही है।
यह क्यों मायने रखता है
यह मापदंड सर्च की गुणवत्ता की ज्यादा स्पष्ट तस्वीर देता है, जिससे डेवलपर ऐसे सिस्टम बना सकते हैं जो वास्तव में प्रासंगिक नतीजे दिखाएं।
