Forskare har presenterat OpenDS-World, ett riktmärke som testar om AI-agenter kan ta reda på svar på den öppna webben med hjälp av sökningar, interaktioner med webbläsaren och olika filformat. Riktmärket innehåller 200 uppgifter. Människor har granskat dem för att bekräfta att underlagen håller och att varje uppgift har ett unikt svar.
I forskarnas utvärdering av 12 modeller med en och samma verktygsuppsättning nådde den bästa modellen 39,0 % träffsäkerhet. Mänskliga utvärderare nådde 21,1 % på 1 000 försök. Artikeln beskriver också återkommande problem med att samordna verktyg och hantera långa sökningar, men det tillgängliga sammandraget anger inte vilken modell som var bäst.
Varför det spelar roll
För forskare som utvecklar agenter för webbresearch erbjuder OpenDS-World ett test på den öppna webben. Resultaten tyder på att uppgifterna fortfarande är svåra, men sammandraget visar inte hur poängen motsvarar användning i vardagen.
