शोधकर्ताओं ने OpenDS-World पेश किया है। यह बेंचमार्क जांचता है कि AI एजेंट सर्च, ब्राउज़र के इस्तेमाल और अलग-अलग फ़ाइल फ़ॉर्मैट की मदद से लाइव वेब पर शोध करके जवाब ढूंढ़ सकते हैं या नहीं। इसमें 200 काम हैं। हर काम के सबूत की पुष्टि और यह सुनिश्चित करने के लिए इंसानों ने जांच की कि उसका जवाब केवल एक ही हो।
एक ही टूल सेटअप के तहत 12 मॉडल के मूल्यांकन में शोधकर्ताओं ने पाया कि सबसे अच्छे मॉडल की सटीकता 39.0% रही। 1,000 प्रयासों में इंसानी मूल्यांकनकर्ताओं की सटीकता 21.1% थी। शोधपत्र में टूल के बीच तालमेल बिठाने और लंबी सर्च को संभालने से जुड़ी लगातार बनी रहने वाली समस्याओं का भी ज़िक्र है; उपलब्ध सार में सबसे अच्छे मॉडल का नाम नहीं बताया गया है।
यह क्यों मायने रखता है
वेब पर शोध करने वाले एजेंट बना रहे शोधकर्ताओं के लिए OpenDS-World लाइव वेब पर एक कसौटी देता है। इसके नतीजे बताते हैं कि ऐसे काम अब भी मुश्किल हैं, लेकिन सार से यह पता नहीं चलता कि ये स्कोर रोज़मर्रा के इस्तेमाल में कैसे लागू होते हैं।
