Pesquisadores apresentaram o OpenDS-World, um benchmark que avalia se agentes de IA conseguem pesquisar respostas na web ao vivo, usando buscas, interações com navegadores e diversos formatos de arquivo. O benchmark contém 200 tarefas, verificadas por humanos para confirmar as evidências e garantir que cada tarefa tenha uma resposta única.
Na avaliação dos pesquisadores, que testou 12 modelos com uma mesma configuração de ferramentas, o melhor alcançou 39,0% de precisão. Os avaliadores humanos obtiveram 21,1% em 1.000 tentativas. O artigo também relata problemas persistentes na coordenação de ferramentas e no gerenciamento de buscas longas; o resumo fornecido não identifica o melhor modelo.
Por que importa
Para pesquisadores que desenvolvem agentes de pesquisa na web, o OpenDS-World oferece um teste na web ao vivo. Os resultados sugerem que essas tarefas continuam difíceis, mas o resumo não mostra como as pontuações se traduzem no uso cotidiano.
