O GPT-6-Astra, executado no ambiente de programação Codex, da OpenAI, resolveu 49 de 50 problemas em um teste de tarefas de pesquisa em física teórica. Os autores do estudo dizem que a execução custou pouco menos de US$ 116 no total, ou cerca de US$ 2,40 por problema. O teste comparou agentes de IA disponíveis comercialmente e não deu nenhuma dica humana a eles.
Com a busca na web ativada, o Opus 5.5, da Anthropic, no Claude Code, obteve 92%. O Gemini 3.8 Flash, do Google, marcou 68%, enquanto os modelos de pesos abertos DeepSeek-V4.1-Flash e GLM 5.3 obtiveram 54% e 42%, respectivamente. Sem busca na web, Astra e Opus marcaram 92% cada.
Um teste de cálculos, não de descobertas
Os 50 problemas abrangem 11 subáreas, de fluxos de fluidos e processos biológicos à física de partículas e à cosmologia. Em sua maioria, são cálculos rotineiros de pesquisa: aplicar métodos conhecidos a uma questão modificada, em vez de resolver grandes problemas em aberto. Segundo os autores, tarefas desse tipo podem servir como projetos iniciais para estudantes de doutorado.
Um dos exemplos exigia adaptar equações de um artigo antigo sobre buracos negros e escrever um programa personalizado para calcular o resultado. Os pesquisadores dizem que os problemas foram elaborados para que as respostas não pudessem ser simplesmente copiadas do artigo. Cada agente foi testado duas vezes: com busca na web e sem acesso à internet.
O resultado tem limitações
Os pesquisadores constataram que alguns erros aparentes da IA eram, na verdade, pequenas falhas nas respostas de referência dos especialistas. Depois de corrigidas, as respostas do Astra nesses casos estavam certas. O único problema que o Astra não resolveu também deixou todos os outros modelos sem resposta; os autores reconhecem ainda que talvez fosse injustamente difícil deduzir a resposta esperada.
Uma pontuação alta nesses cálculos não demonstra que uma IA consiga escolher questões de pesquisa relevantes ou fazer uma descoberta em física. Os autores afirmam que os agentes atuais ainda têm dificuldade para avaliar quais problemas são interessantes e para mudar para uma questão mais tratável quando necessário. O conjunto de problemas e a configuração do teste estão disponíveis no Hugging Face.
Por que importa
Para estudantes de física e seus orientadores, os resultados sugerem que algumas tarefas intensivas em cálculos, antes usadas como projetos iniciais de pesquisa, podem estar mais fáceis de automatizar. Os autores dizem que elas talvez já não sejam adequadas como primeiros projetos, a menos que o objetivo seja praticar. O teste não mostra se a IA consegue escolher questões relevantes ou produzir nova física; por isso, ainda não se sabe qual será seu impacto na pesquisa para além desses cálculos.
