SemiAnalysis는 11월 2일(현지시간) AI 에이전트 평가 방식인 ‘GDPx’를 공개했습니다. 반도체 설계, 사이버보안, 생물학, 금융, 법률, 소프트웨어 개발 등 11개 전문 분야에서 206개 과제를 수행하게 한 평가입니다. 실제 업무 환경을 재현하기 위해 전문 업체 14곳과 협력했다고 SemiAnalysis는 밝혔습니다.
종합 점수는 앤트로픽의 Claude Opus 5.5가 12.0%로 가장 높았습니다. Google의 Gemini 4 Carbon은 10.9%, OpenAI의 GPT-6 Astra는 9.6%, Meta의 Muse Wonder Full은 9.0%였습니다. 다만 12%는 실제 업무 100건 중 12건을 끝냈다는 뜻이 아닙니다. 과제별 완전 성공과 부분 점수를 합친 점수입니다. 각 과제에는 최대 8시간이 주어졌고, 세 차례 실행 결과의 평균을 냈습니다.
실제 업무는 자료를 찾고 판단하는 과정까지 포함한다
GDPx는 정리된 정보를 받아 답을 작성하는 능력보다, 흩어진 자료를 찾아 검토하고 결과물을 완성하는 능력에 초점을 맞춥니다. 금융 과제 하나는 실제 기업 인수 거래를 바탕으로 약 4,000개의 익명화 파일을 넣은 가상 업무 환경을 만들었습니다. AI는 재무제표와 계약서, 회계자료를 직접 찾아 분석하고 기존 문서의 오류도 수정해야 했습니다.
평가에서 어려운 과제의 완성도는 낮았습니다. 기업 수익성을 분석하는 금융 과제는 25회 실행 중 완전 성공이 없었습니다. 가장 높은 점수를 받은 실행도 11개 검증 항목 중 8개만 통과했습니다. 투자계약 문서를 수정하는 법률 과제에서도 4개 모델이 20회 도전했지만, 어느 결과도 완성 기준에 이르지 못했습니다.
분야별 1위도 달랐습니다. Claude Opus 5.5는 반도체 설계와 하드웨어 설계, 퀀트 트레이딩에서 앞섰고, Gemini 4 Carbon은 생물학과 소프트웨어 개발에서 1위를 기록했습니다. GPT-6 Astra는 AI 자기 개선과 재료과학에서 가장 높은 점수를 받았습니다. 종합 순위가 모든 분야의 우위를 뜻하지는 않습니다.
기존 평가와 점수를 바로 비교할 수는 없다
SemiAnalysis는 기존 평가가 자료와 지시를 미리 제공하는 과제에 치우쳐, 전문가가 필요한 정보를 직접 찾고 서로 충돌하는 내용을 판단하는 과정을 놓칠 수 있다고 지적했습니다. 지난해 9월 공개된 OpenAI의 GDPval도 실제 직업의 업무를 다루지만, 이런 에이전트식 작업 능력을 충분히 측정하기 어렵다는 평가입니다. GDPx는 종합 지능보다 특정 산업에서 경제적 가치를 낼 수 있는지를 보려는 평가라서, 점수를 기존 종합 지수와 직접 비교해선 안 됩니다.
결과를 해석할 때는 평가 조건도 고려해야 합니다. 모델마다 Claude Code, Codex 등 서로 다른 실행 환경을 썼고, 일부 과제는 안전장치가 작업을 제한했습니다. 과제 내용과 채점 기준 일부도 공개되지 않아 외부에서 전체 결과를 독립적으로 재현하기 어렵습니다. SemiAnalysis는 GDPx 결과를 활용해 2027~2028년 OpenAI와 Anthropic의 매출을 자체 분석할 계획이라고 밝혔습니다.
왜 중요한가
기업에서 AI 도입을 검토하는 사람에게 GDPx는 종합 순위만으로 특정 업무에 적합한 모델을 고르기 어렵다는 점을 보여줍니다. 다만 실행 환경이 모델마다 달랐고 일부 평가 내용을 재현하기 어려워, 이 점수만으로 실제 도입 성과나 비용 절감 효과를 판단할 수는 없습니다.
