Cohere, Rubric-Calibrated Preferences nDCG@10 (RCP-nDCG@10) adlı yeni bir değerlendirme metriğini duyurdu. Bu metrik, yalnızca önceden etiketlenmiş yanıt anahtarlarına dayanmak yerine, kalibre edilmiş bir yapay zekâ değerlendiricisi kullanarak getirilen her belgeyi bir alaka ölçütüne göre puanlıyor. Körlemesine yürütülen bir insan değerlendirmesinde metrik, incelemecilerin tercih ettiği sistemi vakaların %77’sinde belirledi; geleneksel nDCG’de bu oran %52 oldu. Cohere, yeni nesil Embed ve Rerank modellerini optimize etmek için RCP-nDCG@10’u kullanacağını ve metriği MTEB kıyaslama testine ekleyeceğini söylüyor.
Şirket ayrıca Compass Cloud arama platformu için özel beta ortakları arıyor.
Neden önemli
Bu metrik, arama kalitesine daha net bir bakış sunarak geliştiricilerin gerçekten alakalı sonuçlar getiren sistemler kurmasına yardımcı oluyor.
