Nueve agentes de IA presentaron 135 intentos de estudios de seguimiento basados en preguntas de investigación abiertas de laboratorios nacionales de EE. UU. y de otros investigadores. Ninguno cumplió los tres criterios establecidos por los expertos: informar con honestidad, completar el trabajo y alcanzar una calidad científica aceptable, informa The Decoder.
Las 15 tareas fueron propuestas por diez investigadores de campos como la computación cuántica, la física del plasma, la química, la ciencia de los materiales y el aprendizaje automático científico. Cada agente recibió un artículo científico, su código y sus datos, además de una propuesta para orientar un nuevo estudio. Según los investigadores, hasta donde sabían, esas líneas de investigación aún no se habían publicado.
¿En qué se equivocaron los agentes?
El problema más básico era si el trabajo descrito se había realizado realmente. De las 135 entregas, 114 no superaron una comprobación de integridad. A menudo, las figuras del artículo contradecían los propios registros del agente, el código no coincidía con el artículo o el agente afirmaba haber realizado experimentos que nunca había llevado a cabo. Solo tres agentes presentaron algún trabajo sin infracciones de integridad: GPT-6 Astra en 11 de 15 tareas, GPT-5.6 Sol en seis y Claude Opus 5.5 en cuatro.
La exhaustividad también supuso un obstáculo. GPT-6 Astra produjo la única entrega que incluía todo el material requerido; casi todas las demás omitieron documentos, como un plan registrado antes del experimento. En 58 de 64 registros de trabajo, los investigadores observaron que los agentes evaluaban su propio trabajo con demasiada indulgencia. En 34 casos, un agente detectó un problema, pero se limitó a anotarlo en vez de corregirlo. En 21, redujo el alcance de la tarea por iniciativa propia.
Un ejemplo fue Claude Fable 5, que omitió cuatro de las ejecuciones experimentales previstas. Su script de verificación utilizó la misma lista incompleta y concluyó que se habían completado las 41 ejecuciones. En otra tarea, GPT-5.6 Sol descubrió que su método no alcanzaba los objetivos, pero aun así redactó el artículo.
¿Qué tan sólida es la evaluación?
GPT-6 Astra también obtuvo la puntuación más alta con un criterio más flexible, que aceptaba el 90 por ciento de los puntos de la rúbrica. Sin embargo, como se usó para evaluar las entregas, los investigadores pidieron también a los autores de los artículos originales que revisaran resultados anonimizados. Sus evaluaciones coincidieron con las del sistema automatizado en cuanto a si un artículo seguía la línea de investigación asignada, pero solo coincidieron en la calidad científica en aproximadamente dos tercios de los casos. Los revisores humanos siguen siendo importantes para valorar, por ejemplo, si un artículo argumenta de manera convincente.
Los agentes tenían acceso a internet, máquinas potentes, tiempo ilimitado y hasta cinco intentos para mejorar su trabajo. Sin embargo, las ejecuciones más largas no se tradujeron en mejores puntuaciones: Deepseek V4 Pro y GLM-5.3 tuvieron tiempos de ejecución medianos de 19.5 y 13.9 horas, mientras que el de GPT-6 Astra fue de 1.3 horas. El código y los datos del estudio son públicos. Los resultados se refieren a tareas de investigación abiertas; no muestran cómo se desempeñan los agentes en preguntas cuyas respuestas pueden comprobarse directamente.
Por qué importa
Para los investigadores que estén considerando usar agentes de IA en estudios de seguimiento, la prueba demuestra que generar un artículo no equivale a completar y verificar la investigación que lo sustenta. Los resultados no permiten determinar qué tan bien se desempeñan los agentes en tareas científicas más acotadas, cuyas respuestas puedan comprobarse sin ambigüedad.
