قدّم باحثون OpenDS-World، وهو معيار يختبر قدرة وكلاء الذكاء الاصطناعي على البحث عن إجابات عبر الويب المباشر، باستخدام البحث والتفاعل مع المتصفحات والتعامل مع ملفات بصيغ متنوعة. يضم المعيار 200 مهمة، وتحقّق مراجعات بشرية من الأدلة ومن أن لكل مهمة إجابة واحدة فريدة.
في تقييم الباحثين لـ12 نموذجًا ضمن إعداد واحد للأدوات، بلغت دقة النموذج الأفضل 39.0%. وحقق المقيمون البشر 21.1% عبر 1,000 محاولة. كما تشير الورقة إلى استمرار مشكلات تنسيق استخدام الأدوات وإدارة عمليات البحث الطويلة؛ ولا تحدد الملخصة المقدمة النموذج الأفضل.
لماذا يهم
يوفر OpenDS-World للباحثين الذين يطوّرون وكلاء للبحث عبر الويب اختبارًا على الويب المباشر. وتشير نتائجه إلى أن هذه المهام لا تزال صعبة، لكن الملخصة لا توضح كيف تنعكس الدرجات على الاستخدام اليومي.
