ReplitのViBench 2.0、AIが製品を一から作れるか検証

Replitは、AIコーディングエージェントがソフトウェア製品を一から作り、新機能を追加しても動作を維持できるかを検証するベンチマーク「ViBench 2.0」を公開した。既存のコードベースで特定の作業を与えるコーディングテストとは異なり、ViBenchは空のプロジェクトから始め、Uber、GitHub、Google Docsなどのツールをモデルにした製品の開発を求める。

このベンチマークは17製品、241件の機能リクエスト、544件のテスト計画で構成される。ReplitのパートナーであるFireworksが実施した公式テストでは、上位モデルのGPT-6.1 Sol、GPT-6 Astra、Opus 5.5が、ビルドのそれぞれ65％、60％、49％で全テスト計画をクリアした。製品ごとのテスト計画をすべて通過した場合に限り、そのビルドは合格となる。

ViBenchの仕組み

エージェントはまず短い説明をもとに製品を作り、その後、自分が書いたコードに最大18件の機能を追加する。この手順では、一度きりのコーディング作業では見つかりにくい問題が表面化することがある。たとえば、初期段階でのデータやソフトウェア構造の選択によって、後からの機能追加が難しくなる場合がある。テストでは、乗車料金を割り勘にした際にセント単位まで正確に保つこと、返金の二重処理を防ぐこと、古いバージョンのエディターがチームメイトの新しい変更を上書きしないことなどを検証する。

最後に、採点エージェントが実際のブラウザーを使って各テスト計画を実行する。Replitによると、テストしたモデルの中で誤りが最も少なかったため、採点役にOpus 5.5を採用した。意図的に34件のバグを仕込んだ検証では、バグが確認できる状態で採点エージェントがテスト計画を合格にしたことはなかった。GPT-6.1 Solは、確認した477件の合格判定のうち99.2％を正しいと判定した。

機能リクエストとテスト計画を含む8製品分はGitHubで公開され、残る9製品分は非公開となっている。Replitによると、リリースv2.0.6とOpenHandsをベースにしたテスト環境を使えば、1つのコマンドで結果を再実行できる。

スコアから分かること

公式比較では、各モデルが各製品を4回ずつビルドし、同じ実行環境と設定（medium effort、temperature 1.0）を使用した。DeepSeek V4.1 Flashはテスト計画の77％をクリアし、ビルドあたりの費用は約$2.50だったが、完全なビルドですべての計画を通過したオープンウェイトモデルはなかった。GPT-6.1 Solの費用はビルドあたり約$12、GPT-6 Astraは約$90。Opus 5.5はビルドに平均約70分かかり、Solより約2.5倍速かった。

上位モデルは個々のテストの大半をこなしても、ビルド全体では合格に至らないことが多かった。Replitによると、失敗したビルドのほぼ4分の3で、機能同士の連携に問題が起きていた。たとえば、デザインツールの「元に戻す」操作がチームメイトの編集に影響したり、下書き状態のプルリクエストでマージコンフリクトが表示されなかったりした。ベンチマークは見た目のデザインを評価対象としておらず、Replitによれば、見栄えのよいビルドが簡素なものより合格しやすいという傾向もなかった。