GPT-6-Astra, ejecutado en el entorno de programación Codex de OpenAI, resolvió 49 de 50 problemas en una prueba de tareas de investigación en física teórica. Los autores del estudio señalan que la ejecución costó poco menos de $116 en total, o alrededor de $2.40 por problema. La prueba comparó agentes de IA disponibles comercialmente y no les proporcionó pistas humanas.
Con la búsqueda web activada, Opus 5.5 de Anthropic, en Claude Code, obtuvo un 92%. Gemini 3.8 Flash de Google logró un 68%, mientras que los modelos de pesos abiertos DeepSeek-V4.1-Flash y GLM 5.3 obtuvieron un 54% y un 42%, respectivamente. Sin búsqueda web, Astra y Opus consiguieron un 92% cada uno.
Una prueba de cálculos, no de descubrimientos
Los 50 problemas abarcan 11 subcampos, desde flujos de fluidos y procesos biológicos hasta física de partículas y cosmología. En su mayoría son cálculos habituales de investigación: aplicar métodos conocidos a una pregunta modificada, en lugar de resolver grandes problemas abiertos. Los autores afirman que tareas como estas pueden servir como primeros proyectos para estudiantes de doctorado.
Un ejemplo exigía adaptar ecuaciones de un artículo antiguo sobre agujeros negros y escribir un programa personalizado para calcular el resultado. Según los investigadores, los problemas se diseñaron para que no bastara con copiar la respuesta del artículo. Cada agente realizó la prueba dos veces: con búsqueda web y sin acceso a internet.
La puntuación tiene límites
Los investigadores descubrieron que algunos errores aparentes de la IA eran, en realidad, pequeños fallos en las respuestas de referencia de los expertos. Tras corregirlas, las respuestas de Astra en esos casos resultaron correctas. Ningún modelo pudo resolver el único problema que Astra no logró solucionar; los autores también reconocen que quizá era injustamente difícil deducir la respuesta esperada.
Una puntuación alta en estos cálculos no demuestra que una IA pueda elegir preguntas de investigación valiosas ni lograr un avance en física. Los autores afirman que los agentes actuales aún tienen dificultades para determinar qué problemas son interesantes y para pasar a una pregunta más abordable cuando hace falta. El conjunto de problemas y la configuración de la prueba están disponibles en Hugging Face.
Por qué importa
Para estudiantes y supervisores de física, los resultados sugieren que algunas tareas con muchos cálculos, que antes se asignaban como proyectos iniciales de investigación, podrían automatizarse con mayor facilidad. Los autores señalan que quizá ya no sean adecuadas como primeros proyectos, salvo que el objetivo sea practicar. La prueba no demuestra si la IA puede elegir preguntas valiosas o producir nueva física, por lo que se desconoce su efecto en la investigación más allá de estos cálculos.
