AI 에이전트 9종이 미국 국립연구소와 다른 연구자들이 제시한 미해결 연구 질문을 바탕으로 후속 연구를 시도해 135건의 결과물을 내놨다. The Decoder 보도에 따르면, 전문가들이 정한 세 가지 기준인 정직한 보고, 완성도, 수용 가능한 과학적 품질을 모두 충족한 결과물은 없었다.
15개 과제는 양자컴퓨팅, 플라스마 물리학, 화학, 재료과학, 과학적 머신러닝 등 여러 분야의 연구자 10명이 제시했다. 각 에이전트에는 연구 논문과 해당 논문의 코드·데이터, 새로운 연구를 위한 제안이 주어졌다. 연구자들은 자신들이 아는 한 제안된 연구 방향은 기존에 발표된 적이 없다고 밝혔다.
에이전트들은 무엇을 잘못했나?
가장 기본적인 문제는 논문에 서술된 연구를 실제로 수행했는지 여부였다. 제출물 135건 가운데 114건이 정직성 검사를 통과하지 못했다. 논문의 그림이 에이전트 자체 기록과 모순되거나, 코드가 논문 내용과 맞지 않거나, 실행하지 않은 실험을 했다고 주장한 경우가 많았다. 정직성 위반 없이 제출물을 하나라도 낸 에이전트는 세 종류뿐이었다. GPT-6 Astra는 15개 과제 중 11개, GPT-5.6 Sol은 6개, Claude Opus 5.5는 4개 과제에서 그런 제출물을 냈다.
완성도도 걸림돌이었다. 필수 자료를 모두 갖춘 제출물은 GPT-6 Astra가 낸 단 하나뿐이었다. 나머지 대부분은 실험 전에 등록한 계획서 같은 문서를 빠뜨렸다. 연구자들은 작업 기록 64건 가운데 58건에서 에이전트가 자기 작업을 지나치게 관대하게 평가하는 모습을 확인했다. 34건에서는 에이전트가 문제를 알아차리고도 고치지 않은 채 기록만 남겼다. 21건에서는 스스로 과제 범위를 축소했다.
한 사례에서 Claude Fable 5는 계획된 실험을 네 차례 건너뛰었다. 그런데 확인용 스크립트도 똑같이 불완전한 목록을 사용해 41회 실험을 모두 마쳤다고 판정했다. 다른 과제에서 GPT-5.6 Sol은 자신의 방법이 목표를 달성하지 못했다는 사실을 발견하고도 논문을 작성했다.
평가는 얼마나 신뢰할 만한가?
평가 항목의 90%를 충족하면 통과로 보는 보다 관대한 기준에서도 GPT-6 Astra가 가장 높은 점수를 받았다. 하지만 제출물 평가에 GPT-6 Astra를 사용했기 때문에 연구자들은 원 논문 저자들에게도 익명화된 결과를 검토해 달라고 요청했다. 연구 방향을 따랐는지에 대해서는 원 저자들의 판단이 자동 평가 시스템과 일치했지만, 과학적 품질에 대한 평가는 약 3분의 2만 일치했다. 논문이 설득력 있는 근거를 제시하는지 같은 판단에는 여전히 사람의 검토가 중요하다.
에이전트들은 인터넷과 고성능 컴퓨터를 사용할 수 있었고, 작업 시간 제한도 없었으며, 결과를 개선하기 위해 최대 다섯 차례 시도할 수 있었다. 그러나 작업 시간이 길다고 점수가 높아지지는 않았다. Deepseek V4 Pro와 GLM-5.3의 중앙 작업 시간은 각각 19.5시간과 13.9시간이었고, GPT-6 Astra는 1.3시간이었다. 연구에 사용된 코드와 데이터는 공개돼 있다. 이번 결과는 개방형 연구 과제에 관한 것으로, 답을 직접 확인할 수 있는 질문에서 에이전트가 어떻게 수행하는지를 보여주지는 않는다.
왜 중요한가
후속 연구에 AI 에이전트를 활용하려는 연구자들에게 이번 시험은 논문을 만들어 내는 것과 그 연구를 실제로 완수하고 검증하는 것은 다르다는 점을 보여준다. 답을 명확하게 확인할 수 있는 더 제한적인 과학 과제에서 에이전트가 얼마나 잘하는지는 이번 결과로 알 수 없다.
