Araştırmacılar, yapay zekâ ajanlarının arama, tarayıcı etkileşimleri ve çeşitli dosya biçimlerinden yararlanarak canlı web’de yanıtları araştırıp araştırmadığını sınayan OpenDS-World adlı bir kıyaslama testi hazırladı. Test, kanıtları ve her görevin tek bir doğru yanıtı olduğunu doğrulamak için insanlar tarafından kontrol edilen 200 görevden oluşuyor.
Araştırmacıların tek bir araç düzeni altında 12 modeli değerlendirdiği testte en iyi model %39,0 doğruluğa ulaştı. İnsan değerlendiriciler, 1.000 denemede %21,1 başarı gösterdi. Makalede ayrıca araçları eşgüdümlü kullanma ve uzun araştırmaları yönetme konusunda süregelen sorunlar bildiriliyor; sunulan özette en iyi modelin hangisi olduğu belirtilmiyor.
Neden önemli
Web araştırma ajanları geliştiren araştırmacılar için OpenDS-World, canlı web üzerinde bir test olanağı sunuyor. Sonuçlar bu görevlerin hâlâ zor olduğunu gösteriyor; ancak özette alınan puanların gündelik kullanıma nasıl yansıdığı açıklanmıyor.
