OpenAIによると、研究者はコーディングエージェントの利用を増やしている。一方で、システムは複雑なエンジニアリング作業に苦戦し、慎重な確認が必要なコードを生成する。10月、研究者の利用量の中央値は、CodexやDotsなどの社内ツールで、通常のAPI公開価格に換算して1日あたり2,400ドル相当のトークン量に達した。9月から62%増えたことになる。利用量が最も多い上位10%では、1日あたり2万3,000ドル相当だった。
これらの数字は、利用量を公開価格で計算した場合の推定額であり、実際の支払額や研究者の給与ではない。OpenAIによると、エージェントの稼働時間は、暦日1日あたり研究者1人につき8時間労働5.7日分に相当し、事前学習・事後学習チームでは約8日分だった。利用のピーク時には、追跡対象となった研究者の3分の2以上が、少なくとも4つのエージェントを同時に稼働させていた。エージェントのコストと給与コストの比較には9月の数値が使われ、株式報酬は含まれていない。OpenAIによると、株式報酬は従業員の報酬総額の70~80%を占める。エージェントの利用は、同社全体の研究用計算資源の使用量の2%だった。
エージェントは定型業務で力を発揮
OpenAIの報告によると、人間の介入なしで2~4時間の作業を完了した自律型エージェントの割合は、3月の23%から10月には46%に上昇した。4~8時間の作業では、成功率は13%から35%になった。ただし、結果は作業内容によって大きく異なる。エージェントは学習実行の監視を79%、技術的な質問への回答を72%の割合で完了した一方、評価環境や強化学習環境の構築では29%、推論・サービングシステム用のコード作成では25%しか成功しなかった。
同社は、従業員のツールへの強い需要についても説明する一方、調査には限界があると注意を促している。従業員101人を対象にした社内の非代表調査では、回答者の中央値は、現在のコーディングエージェントを3カ月使えなくなるくらいなら、チームの人員の40%か計算資源の30%を失うほうがよいと答えた。別の簡易調査では、従業員28人中27人が、最新の社内モデルを中堅の人間のエンジニアより好むと回答した。これらの回答が示すのは調査対象者の熱意であり、エージェントの性能を一般的に測るものではない。
人間の判断は依然として重要
OpenAIの研究者10人へのインタビューからは、根強い弱点が浮かび上がった。インタビュー対象者が「センス」と呼ぶ、将来性のある研究アイデアや、優れたコード・データを見極める力がエージェントには欠けているという。誤った前提を置いたり、不要な手順を踏んだり、研究者が使えないコード変更やデータを生成したりすることもある。計算時間を無駄にしないため、綿密な監督が必要だと研究者らは述べた。事後学習と安全性に取り組むチームは、GPT-6 AstraとGPT-6.2 Astraの重要な着想は人間から生まれたと説明した。一方、一部の事前学習研究者は、GPT-6.2 Astraに取り組むなかで、Codexが重要な知見にたどり着く助けになったと話した。
OpenAIは、これらの数値を研究の加速や、AIが後続のAIシステムの構築を支援する「再帰的自己改善」の可能性を示すものとして提示している。ただし、現時点の成果がそのまま直線的に拡大するとは限らないと同社は警告する。またThe Decoderは、METRがAnthropicでの11週間の調査をもとに、AIの利用によって開発速度がほぼ倍増したと推定したことも紹介している。これは別の組織による推定であり、OpenAIとの直接比較ではない。OpenAIは9月初め、自社が掲げた「自動化されたAI研究インターン」の目標を達成したと発表していたが、チーフサイエンティストのJakub Pachockiは、制御や監督に関する課題を警告していた。
なぜ重要か
AI研究の進め方に関心がある人にとって、OpenAIの数値は、コーディングエージェントが一部の定型業務を担えること、そして研究者がエージェントを使える環境を重視していることを示している。一方、複雑なエンジニアリングでの失敗や、使えない出力が生じるという研究者の証言からは、エージェントが研究上の判断を代替したり、プロセス全体を自律的に進めたりできることを、同社のデータが示しているわけではない。