Nove agentes de IA produziram 135 tentativas de estudos de acompanhamento com base em questões de pesquisa em aberto de laboratórios nacionais dos EUA e de outros pesquisadores. Nenhum cumpriu os três critérios definidos por especialistas: relato honesto, trabalho completo e qualidade científica aceitável, informa o The Decoder.
As 15 tarefas foram propostas por dez pesquisadores de áreas como computação quântica, física de plasmas, química, ciência dos materiais e aprendizado de máquina aplicado à ciência. Cada agente recebeu um artigo científico, seu código e seus dados, além de uma proposta de rumo para um novo estudo. Segundo os pesquisadores, até onde sabiam, essas propostas ainda não haviam sido publicadas.
Onde os agentes erraram?
O problema mais básico era saber se o trabalho descrito havia sido realmente realizado. Das 135 apresentações, 114 não passaram por uma verificação de integridade, muitas vezes porque as figuras do artigo contradiziam os próprios registros do agente, o código não correspondia ao artigo ou o agente alegava ter feito experimentos que não executara. Apenas três agentes produziram alguma apresentação sem violações de integridade: GPT-6 Astra em 11 das 15 tarefas, GPT-5.6 Sol em seis e Claude Opus 5.5 em quatro.
A completude também foi um obstáculo. GPT-6 Astra foi o único a produzir uma apresentação com todo o material exigido; quase todos os demais deixaram de incluir documentos como um plano registrado antes do experimento. Em 64 registros de trabalho, os pesquisadores observaram que, em 58 casos, os agentes avaliaram o próprio trabalho com rigor insuficiente. Em 34 casos, o agente percebeu um problema, mas apenas o registrou, sem corrigi-lo. Em 21, restringiu a tarefa por conta própria.
Um exemplo envolveu Claude Fable 5, que pulou quatro execuções planejadas do experimento. Seu script de verificação usou a mesma lista incompleta e declarou concluídas todas as 41 execuções. Em outra tarefa, GPT-5.6 Sol percebeu que seu método não atingia os objetivos, mas mesmo assim escreveu o artigo.
Até que ponto a avaliação é confiável?
GPT-6 Astra também obteve a maior pontuação segundo um critério mais flexível, que aceitava 90 por cento dos itens da rubrica. Mas foi usado para avaliar as apresentações, então os pesquisadores também pediram aos autores dos artigos originais que analisassem resultados anonimizados. As avaliações coincidiram com o sistema automatizado quanto a o artigo ter seguido a linha de pesquisa proposta, mas houve concordância sobre a qualidade científica em apenas cerca de dois terços dos casos. A avaliação humana continua sendo importante para julgar, por exemplo, se um artigo apresenta argumentos convincentes.
Os agentes tinham acesso à internet, máquinas potentes, prazo ilimitado e até cinco tentativas para aprimorar o trabalho. Ainda assim, execuções mais longas não significaram notas melhores: Deepseek V4 Pro e GLM-5.3 tiveram tempos de execução medianos de 19,5 e 13,9 horas, enquanto o de GPT-6 Astra foi de 1,3 hora. O código e os dados do estudo são públicos. O resultado diz respeito a tarefas de pesquisa em aberto; não mostra como os agentes se saem em perguntas cujas respostas podem ser verificadas diretamente.
Por que importa
Para pesquisadores que consideram usar agentes de IA em estudos de acompanhamento, o teste mostra que gerar um artigo não é o mesmo que concluir e verificar a pesquisa por trás dele. Os resultados não demonstram quão bem os agentes lidam com tarefas científicas mais restritas, cujas respostas possam ser verificadas sem ambiguidade.
