Forschende haben OpenDS-World vorgestellt, einen Benchmark, der prüft, ob KI-Agenten Antworten im Live-Web recherchieren können – mithilfe von Suchfunktionen, Browser-Interaktionen und unterschiedlichen Dateiformaten. Der Benchmark umfasst 200 Aufgaben. Menschen haben überprüft, ob die Belege stimmig sind und jede Aufgabe eine eindeutige Antwort hat.
Bei der Bewertung von 12 Modellen mit einer einheitlichen Tool-Konfiguration erreichte das beste Modell eine Genauigkeit von 39,0 %. Menschliche Teilnehmende kamen bei 1.000 Versuchen auf 21,1 %. Die Studie berichtet außerdem von anhaltenden Problemen bei der Koordination von Tools und der Verwaltung längerer Recherchen. Im bereitgestellten Abstract wird das beste Modell nicht genannt.
Warum es wichtig ist
Für Forschende, die Agenten für Web-Recherchen entwickeln, bietet OpenDS-World einen Test im Live-Web. Die Ergebnisse deuten darauf hin, dass solche Aufgaben weiterhin schwierig sind. Aus dem Abstract geht jedoch nicht hervor, wie sich die Ergebnisse auf den Alltag übertragen lassen.
