Alibabaとアジアの複数の大学の研究者が、実際のユーザーからの変更依頼に応じて稼働中のウェブアプリを修正するコーディングエージェントのテスト「Co‑Design Bench」を公開した。開発者の実際の作業を反映し、画像、音声、動画、文書などのマルチモーダル入力を含む。OpenAI系のGPT‑6 AstraからClaude Opus 5、Qwen 3.8‑Maxまで、10のモデルを評価した。
GPT‑6 Astraが最も高い成績を収め、各タスクの要件を平均で約70％満たした。それでも、完全に正しいアプリを作れたのは全ケースの26.4％にとどまった。ほとんどのタスクでAIは作業の大部分をこなしたものの、少なくとも1つの細部を仕上げられず、公開前に人がコードを修正する必要があった。
WebCompass‑editなど従来のベンチマークでは、同じモデルがほぼ満点を記録している。しかし、Co‑Design Benchでは35ポイントを超える差が明らかになった。研究者らによると、従来のテストは簡単になりすぎている。エージェントが閉じたループの中でコードを実行、確認、修正できるため、スコアが実力以上に高くなるという。
1つのタスクにレイアウト、デザイン、操作性、コンテンツのうち3種類または4種類の変更が含まれると、性能は大きく落ちた。小型モデルのQwen 3.8‑27Bを含め、すべてのモデルがこうした条件で苦戦した。計算量を増やしても効果は限定的だった。GLM‑5.2は簡単な変更でGPT‑6 Astraの6倍のトークンを使ったが、それでもスコアは下回った。
テストから分かること
この研究は、モデルにコードを渡し、その出力を実行するプログラムである「ハーネス」も、コーディングエージェントの結果をモデル本体と同じくらい左右し得ると指摘している。大規模な改修では、同じモデルでも環境によってスコアが75％にも56％にもなった。著者らは、ツールを導入する前にモデルとハーネスを組み合わせて評価するよう企業に勧めている。
一方で、研究者らはテストの限界も挙げている。各タスクの依頼は1回きりの固定されたものなので、追加の質問は評価されない。また、アプリを採点するAIが誤る可能性もある。METRの先行研究では、AI生成コードが実際の開発現場で受け入れられる割合は、SWE‑bench Verifiedなどの人気ベンチマークのスコアを約24％下回ることが分かっている。
なぜ重要か
AIコーディングアシスタントの導入を検討する開発者にとって、ソフトウェアを公開する前に、変更の大半を人が確認して修正する必要があるということだ。企業は、実際の性能を過大評価しかねないベンチマークのスコアだけに頼らず、AIモデルとその実行環境の両方をテストすべきだ。
