OpenAI의 Codex 코딩 환경에서 작동한 GPT-6-Astra가 이론물리학 연구 과제를 다룬 테스트에서 문제 50개 중 49개를 풀었다. 연구진에 따르면 전체 실행 비용은 116달러에 조금 못 미쳤으며, 문제당 약 2.40달러였다. 이 테스트에서는 상용 AI 에이전트를 비교했으며, 사람이 힌트를 주지 않았다.
웹 검색을 사용할 수 있게 했을 때 Anthropic의 Claude Code에 탑재된 Opus 5.5는 92%를 기록했다. Google의 Gemini 3.8 Flash는 68%, 오픈 웨이트 모델인 DeepSeek-V4.1-Flash와 GLM 5.3은 각각 54%와 42%를 받았다. 웹 검색을 사용하지 않았을 때 Astra와 Opus는 각각 92%를 기록했다.
새로운 발견이 아닌 계산 능력 테스트
문제 50개는 유체 흐름과 생물학적 과정부터 입자물리학과 우주론까지 11개 하위 분야를 다룬다. 대부분은 알려진 방법을 변형된 문제에 적용하는 일상적인 연구 계산으로, 오래된 난제를 해결하는 과제는 아니다. 연구진은 이런 과제가 박사과정 학생의 첫 연구 프로젝트로 활용되기도 한다고 설명했다.
한 문제는 블랙홀을 다룬 오래된 논문의 방정식을 변형하고, 결과를 계산하는 맞춤형 프로그램을 작성해야 했다. 연구진은 논문에서 답을 그대로 복사할 수 없도록 문제를 설계했다고 밝혔다. 각 에이전트는 웹 검색을 허용한 경우와 인터넷에 접속할 수 없는 경우, 두 차례 테스트를 받았다.
점수만으로 판단하기 어려운 이유
연구진은 AI의 실수로 보였던 사례 중 일부가 전문가들이 작성한 기준 답안의 사소한 오류에서 비롯됐다는 사실을 확인했다. 기준 답안을 수정하자 해당 사례에서 Astra의 답변은 맞았다. Astra가 풀지 못한 문제는 모든 모델이 해결하지 못했으며, 연구진도 기대 답안을 추론하기에 부당할 정도로 어려운 문제였을 수 있다고 인정했다.
이런 계산 문제에서 높은 점수를 받았다고 해서 AI가 가치 있는 연구 질문을 고르거나 물리학의 획기적 성과를 낼 수 있다는 뜻은 아니다. 연구진에 따르면 현재 AI 에이전트는 어떤 문제가 흥미로운지 판단하고, 필요할 때 더 풀기 쉬운 문제로 전환하는 데 여전히 어려움을 겪는다. 문제 세트와 테스트 설정은 Hugging Face에서 확인할 수 있다.
왜 중요한가
물리학 학생과 지도교수에게 이번 결과는 연구 입문용 프로젝트로 쓰이던 계산 중심 과제 중 일부를 자동화하기 쉬워졌음을 시사한다. 연구진은 연습이 목적이 아니라면 이런 과제가 더는 적절한 첫 연구 프로젝트가 아닐 수 있다고 말한다. 다만 이 테스트는 AI가 가치 있는 연구 질문을 고르거나 새로운 물리학을 만들어낼 수 있는지는 보여주지 않으므로, 이런 계산을 넘어선 연구에 미칠 영향은 아직 알 수 없다.
