Investigadores presentaron OpenDS-World, un benchmark que evalúa si los agentes de IA pueden investigar respuestas en la web en tiempo real mediante búsquedas, interacciones con el navegador y distintos formatos de archivo. El benchmark incluye 200 tareas, verificadas por personas para confirmar las pruebas y que cada una tenga una respuesta única.
En la evaluación de los investigadores, que comparó 12 modelos con una misma configuración de herramientas, el mejor obtuvo un 39,0% de precisión. Los evaluadores humanos alcanzaron un 21,1% en 1.000 intentos. El artículo también señala que persisten los problemas para coordinar herramientas y gestionar búsquedas largas; el resumen proporcionado no identifica cuál fue el mejor modelo.
Por qué importa
Para quienes investigan cómo crear agentes que busquen información en la web, OpenDS-World ofrece una prueba con la web en tiempo real. Los resultados sugieren que estas tareas siguen siendo difíciles, aunque el resumen no muestra cómo se traducen las puntuaciones al uso cotidiano.
