Des chercheurs ont présenté OpenDS-World, un benchmark qui évalue la capacité des agents d’IA à trouver des réponses sur le web en temps réel, en utilisant des moteurs de recherche, des navigateurs et différents formats de fichiers. Il comprend 200 tâches, vérifiées par des humains afin de confirmer la validité des éléments de preuve et l’unicité de la réponse à chaque tâche.
Lors de l’évaluation de 12 modèles avec une même configuration d’outils, le meilleur a atteint une précision de 39,0 %. Les évaluateurs humains ont obtenu 21,1 % sur 1 000 tentatives. L’article fait également état de difficultés persistantes à coordonner les outils et à gérer les recherches longues ; le résumé fourni ne précise pas quel modèle est arrivé en tête.
Pourquoi c'est important
Pour les chercheurs qui développent des agents capables d’effectuer des recherches sur le web, OpenDS-World propose un test en conditions réelles. Les résultats indiquent que ces tâches restent difficiles, mais le résumé ne montre pas dans quelle mesure ces scores se traduisent dans les usages quotidiens.
