국제이론과학센터(ICTS)와 타타 기초과학연구소, 펜실베이니아대학교, Google DeepMind 등의 연구진 35명이 이론물리 연구 과제를 평가하는 벤치마크 TheoPhysEval과 결과를 공개했습니다. 이 평가에서 GPT-6 아스트라는 웹 검색과 코드 실행을 쓸 수 있는 조건으로 50문제 중 49개를 해결했습니다.
문제는 고전물리학부터 양자장론, 입자물리학, 중력·우주론까지 11개 분야를 다뤘습니다. 알려진 답을 찾는 데 그치지 않고, 기존 연구를 읽은 뒤 조건을 바꿔 계산하는 과제도 포함됐습니다. 연구진은 중요한 미해결 난제는 제외했고, 전문가가 보통 하루 안에 풀 수 있는 수준으로 문제를 설명했습니다.
모델별 점수는 어땠나
같은 조건에서 오퍼스 5.5는 46문제를 풀었고, 제미나이 3.8 플래시는 34개를 해결했습니다. 오픈 모델인 딥시크-V4.1 플래시와 GLM-5.3은 각각 27개, 21개였습니다. 인터넷을 차단한 조건에서는 아스트라와 오퍼스 5.5가 각각 46개를 맞혔습니다.
아스트라가 풀지 못한 문제는 주어진 곡선을 만들어내는 미분방정식을 거꾸로 찾는 과제였습니다. 다른 모델도 이 문제를 풀지 못했습니다. 아스트라의 API 비용은 전체 116.28달러, 문제당 평균 약 2.33달러였다고 연구진은 보고했습니다.
정답 검증과 평가의 한계
공동 저자 수브랏 라주는 초기 채점에서 아스트라가 80점대 후반을 받았다고 밝혔습니다. 연구진이 오답으로 분류된 답을 다시 살펴보자, 전문가 기준 답안의 계산 오류가 여러 건 발견됐고 이를 고친 뒤 점수는 98%가 됐습니다.
다만 각 에이전트는 최종 답을 기준으로 한 차례씩 평가됐습니다. 일부 출제자가 풀이 과정에서 AI 도구를 썼고, 문제나 답이 사전에 모델에 노출됐을 가능성도 연구진은 배제하지 못했습니다. 연구진은 모델이 연구 계산을 수행할 수 있음을 보였지만, 연구할 문제를 고르거나 방향을 바꾸는 능력까지 입증한 것은 아니라고 설명했습니다.
왜 중요한가
물리학 대학원생에게 기존 연구를 익히며 직접 계산하는 과제가 AI로도 풀릴 수 있다는 결과는 과제 설계에 참고가 될 수 있습니다. 다만 이 평가는 한 차례씩 진행됐고 사전 노출 가능성도 남아 있어, 실제 연구에서 AI가 얼마나 안정적으로 계산을 맡을 수 있는지는 아직 분명하지 않습니다.
