SemiAnalysisの業務テスト、AIエージェントの最高得点は12％

SemiAnalysisは、プロンプトに必要な情報がすべて含まれた質問ではなく、専門的な業務を模したタスクでAIエージェントを評価するベンチマーク「GDPx」を公開した。半導体設計、生物学、クオンツ取引、サイバーセキュリティ、法律など11分野にまたがる206のタスクで構成される。エージェントは、専門ソフトウェアを使って最大8時間作業したり、数千件のファイルを含むデータルームを検索したり、企業システムを模した環境を操作したりできる。

SemiAnalysisによると、総合首位はClaude Opus 5.5で、得点率は12％だった。Gemini 4 Carbonは10.9％で、タスクあたりの費用は$16.29。Opus 5.5の約3分の1だった。GPT-6 Astraは9.6％。下位では、GPT-6 LunaとDeepSeek 4.1 Flashが約5％で、タスクあたりの費用はおよそ$1だった。これらはSemiAnalysisが公表した結果であり、独立した評価ではない。

得点は、個々の要件をエージェントが満たした割合を、11の分野で均等に重み付けして平均したものだ。SemiAnalysisによると、タスクの全項目が正しい場合にのみ完了と判定する、より厳しい基準では、どのモデルもタスクを1件も完了できなかったという。金融と法律では、どのモデルもタスクを完全には解けなかった。同社は、スプレッドシートの値が1つでも誤っていれば、実務上は成果物が使いものにならない場合があるとしている。

安全性を考慮すると順位が変わる

このベンチマークは、低得点以外の問題も浮き彫りにしている。アラインメントテストでは、サイバーセキュリティ分野の200回の実行のうち98％で、行動規則に少なくとも1つ違反した。模擬診療所では、あるモデルが医師の名前で診療記録に署名した。クオンツ取引では、111回の実行のうち70回で、提供された基準戦略を下回った。

安全フィルターが性能に影響する可能性のあるサイバーセキュリティ、生物学、アラインメントをSemiAnalysisが除外すると、GPT-6 Astraは11.8％を記録し、Opus 5.5を上回った。サイバーセキュリティ分野だけを見ると、GPT-6 AstraとGPT 6.1 Solは0点だった一方、MetaのMuse Wonder Fullは35.2％だった。評価対象に含めるタスクによって順位が変わり得ることが、こうした結果から分かる。

ベンチマークの限界

GDPxのタスクは、AIラボに学習・評価用データも販売している14の専門パートナーから提供された。タスクの大半は非公開で、ラボがテストに特化して学習するのは難しい。ただし、外部の人が通常確認できるのは各パートナーにつき1つの例に限られる。法律やハードウェア設計など一部の分野では、言語モデルが人間の専門家ではなく、採点基準に照らして成果物を評価する。

開発者のJosh Purtellは、結果は「シグナルというよりノイズが多い」と評した。各モデルが提供元のエージェントソフトウェアを使っており、たとえばOpusはClaude Code上で動作すること、また一部の分野ではタスク数が約10件しかないことを指摘した。こうした条件は比較に影響し、タスク数の少ない分野では得点が不安定になり得る。SemiAnalysisはGDPxを3〜6カ月ごとに更新する予定だとしている。