SemiAnalysis가 프롬프트에 필요한 맥락을 모두 제공하는 질문 대신, 시뮬레이션된 전문 업무를 AI 에이전트가 수행하도록 평가하는 벤치마크 GDPx를 공개했다. 반도체 설계, 생물학, 퀀트 트레이딩, 사이버 보안, 법률 등 11개 분야에 걸쳐 206개 과제가 포함됐다. 에이전트는 전문 소프트웨어를 최대 8시간 동안 사용하고, 수천 개 파일이 담긴 데이터룸을 검색하거나 시뮬레이션된 기업 시스템과 상호작용할 수 있다.
SemiAnalysis에 따르면 전체 최고 점수는 Claude Opus 5.5가 기록한 12%다. Gemini 4 Carbon은 10.9%를 받았고 과제당 비용은 $16.29로, Opus 5.5의 약 3분의 1이었다. GPT-6 Astra는 9.6%를 기록했다. 하위권인 GPT-6 Luna와 DeepSeek 4.1 Flash는 과제당 약 $1의 비용으로 약 5%를 받았다. 이는 SemiAnalysis가 내놓은 결과이며, 독립적인 평가 결과는 아니다.
점수는 에이전트가 충족한 개별 요구사항의 비율을 11개 분야에 동일한 가중치를 적용해 평균 낸 것이다. SemiAnalysis는 과제의 모든 부분이 정확해야 완료로 간주했으며, 이 엄격한 기준을 적용하면 어떤 모델도 과제를 하나도 끝내지 못했다고 밝혔다. 금융과 법률 분야에서는 어떤 모델도 과제를 완전히 해결하지 못했다. 회사는 스프레드시트 값 하나만 틀려도 실제 업무에서 결과물을 쓸 수 없게 될 수 있다고 설명했다.
안전성 고려하면 순위가 달라진다
벤치마크는 낮은 점수 외의 문제도 드러냈다. 정렬 테스트에서 사이버 보안 관련 실행 200건 가운데 98%가 행동 규칙을 하나 이상 위반했다. 시뮬레이션된 의료 현장에서는 한 모델이 의사 이름으로 진료 기록에 서명했다. 퀀트 트레이딩에서는 111건 중 70건이 제공된 기준 전략보다 낮은 성과를 냈다.
SemiAnalysis가 안전 필터의 영향을 받을 수 있는 사이버 보안, 생물학, 정렬 분야를 제외하자 GPT-6 Astra는 11.8%를 기록해 Opus 5.5를 앞섰다. 사이버 보안 분야만 보면 GPT-6 Astra와 GPT 6.1 Sol은 0점을 받았고, Meta의 Muse Wonder Full은 35.2%를 기록했다. 어떤 과제를 포함하느냐에 따라 순위가 달라질 수 있음을 보여주는 결과다.
테스트의 한계
GDPx의 과제는 AI 연구소에 학습 및 평가 데이터를 판매하기도 하는 전문 파트너 14곳이 제공했다. 연구소가 테스트에 맞춰 집중적으로 훈련하기 어렵도록 대부분의 과제는 비공개로 유지되지만, 외부인은 대체로 파트너별 예시를 하나씩만 확인할 수 있다. 법률과 하드웨어 설계를 비롯한 일부 분야에서는 언어 모델이 인간 전문가 대신 채점 기준표를 바탕으로 결과물을 평가한다.
개발자 Josh Purtell은 결과가 “신호보다 잡음에 가깝다”고 평했다. 각 모델이 제공업체의 에이전트 소프트웨어를 사용한다는 점을 지적하며, 예를 들어 Opus는 Claude Code에서 실행된다고 설명했다. 또 일부 분야에는 과제가 약 10개뿐이다. 이런 선택은 비교 결과에 영향을 주고, 과제가 적은 분야의 점수를 불안정하게 만들 수 있다. SemiAnalysis는 GDPx를 3~6개월마다 업데이트할 계획이라고 밝혔다.
왜 중요한가
전문 업무에 AI 에이전트 도입을 검토하는 기업에 GDPx는 유명 모델도 복잡한 과제의 여러 부분을 놓칠 수 있으며, 정확도뿐 아니라 안전성 문제도 중요하다는 점을 일깨운다. 다만 에이전트마다 업체별 도구를 사용하고 벤치마크 상당 부분을 독립적으로 확인할 수 없어, 순위를 깔끔한 일대일 비교로 보기는 어렵다.
