Onderzoekers hebben OpenDS-World geïntroduceerd, een benchmark die test of AI-agenten antwoorden kunnen opzoeken op het live web, met behulp van zoekfuncties, browserinteracties en uiteenlopende bestandsindelingen. De benchmark bestaat uit 200 opdrachten. Mensen hebben gecontroleerd of het bewijs klopt en of elke opdracht één uniek antwoord heeft.
Bij de evaluatie van 12 modellen met één toolconfiguratie haalde het beste model een nauwkeurigheid van 39,0%. Menselijke beoordelaars kwamen over 1.000 pogingen uit op 21,1%. Het onderzoek meldt ook aanhoudende problemen met het coördineren van tools en het uitvoeren van lange zoekopdrachten; in de aangeleverde samenvatting wordt niet vermeld welk model het beste presteerde.
Waarom het ertoe doet
Voor onderzoekers die agenten bouwen voor webonderzoek biedt OpenDS-World een test op basis van het live web. De resultaten wijzen erop dat deze opdrachten moeilijk blijven, maar uit de samenvatting blijkt niet hoe de scores zich vertalen naar dagelijks gebruik.
