# ReplitのViBench 2.0、AIが製品を一から作れるか検証

> コーディングエージェントに、機能を一つずつ追加しながら製品を開発させるベンチマーク。上位モデルでも、すべてのテスト計画をクリアした割合は49〜65％にとどまった。

Oossa · 2026-10-28 · https://oossa.com/ja/replit-s-vibench-2-0-tests-whether-ai-can-build-full-products

Replitは、AIコーディングエージェントがソフトウェア製品を一から作り、新機能を追加しても動作を維持できるかを検証するベンチマーク「ViBench 2.0」を公開した。既存のコードベースで特定の作業を与えるコーディングテストとは異なり、ViBenchは空のプロジェクトから始め、Uber、GitHub、Google Docsなどのツールをモデルにした製品の開発を求める。

このベンチマークは17製品、241件の機能リクエスト、544件のテスト計画で構成される。ReplitのパートナーであるFireworksが実施した公式テストでは、上位モデルのGPT-6.1 Sol、GPT-6 Astra、Opus 5.5が、ビルドのそれぞれ65％、60％、49％で全テスト計画をクリアした。製品ごとのテスト計画をすべて通過した場合に限り、そのビルドは合格となる。

## ViBenchの仕組み

エージェントはまず短い説明をもとに製品を作り、その後、自分が書いたコードに最大18件の機能を追加する。この手順では、一度きりのコーディング作業では見つかりにくい問題が表面化することがある。たとえば、初期段階でのデータやソフトウェア構造の選択によって、後からの機能追加が難しくなる場合がある。テストでは、乗車料金を割り勘にした際にセント単位まで正確に保つこと、返金の二重処理を防ぐこと、古いバージョンのエディターがチームメイトの新しい変更を上書きしないことなどを検証する。

最後に、採点エージェントが実際のブラウザーを使って各テスト計画を実行する。Replitによると、テストしたモデルの中で誤りが最も少なかったため、採点役にOpus 5.5を採用した。意図的に34件のバグを仕込んだ検証では、バグが確認できる状態で採点エージェントがテスト計画を合格にしたことはなかった。GPT-6.1 Solは、確認した477件の合格判定のうち99.2％を正しいと判定した。

機能リクエストとテスト計画を含む8製品分はGitHubで公開され、残る9製品分は非公開となっている。Replitによると、リリースv2.0.6とOpenHandsをベースにしたテスト環境を使えば、1つのコマンドで結果を再実行できる。

## スコアから分かること

公式比較では、各モデルが各製品を4回ずつビルドし、同じ実行環境と設定（medium effort、temperature 1.0）を使用した。DeepSeek V4.1 Flashはテスト計画の77％をクリアし、ビルドあたりの費用は約$2.50だったが、完全なビルドですべての計画を通過したオープンウェイトモデルはなかった。GPT-6.1 Solの費用はビルドあたり約$12、GPT-6 Astraは約$90。Opus 5.5はビルドに平均約70分かかり、Solより約2.5倍速かった。

上位モデルは個々のテストの大半をこなしても、ビルド全体では合格に至らないことが多かった。Replitによると、失敗したビルドのほぼ4分の3で、機能同士の連携に問題が起きていた。たとえば、デザインツールの「元に戻す」操作がチームメイトの編集に影響したり、下書き状態のプルリクエストでマージコンフリクトが表示されなかったりした。ベンチマークは見た目のデザインを評価対象としておらず、Replitによれば、見栄えのよいビルドが簡素なものより合格しやすいという傾向もなかった。

## 事実

- ViBench 2.0は17製品、241件の機能リクエスト、544件のテスト計画を対象としている。
- Fireworksの公式テストでのGPT-6.1 Solのpass@1率は65％。GPT-6 Astraは60％、Opus 5.5は49％だった。
- DeepSeek V4.1 Flashはテスト計画の77％をクリアし、ビルドあたりの推定費用は約$2.50だったが、完全なビルドに合格したオープンウェイトモデルはなかった。
- 17製品のうち8製品とそのテスト計画がGitHubで公開されている。

## なぜ重要か

AIコーディングエージェントの導入を検討するチームにとって、ViBenchは、個別のコーディング作業に合格しても、機能が増える中で製品が正常に動き続けるとは限らないことを示す。上位モデルの失敗の多くは機能同士の連携に関わっていた。結果はそうした弱点の把握に役立つ一方、特定の企業のソフトウェアや開発環境でモデルがどう動くかを示すものではない。

## 出典と参考資料

1. [ViBench 2.0: A Benchmark for Long-Horizon Software Building](https://replit.com/blog/vibench-2-long-horizon-software-benchmark) – Replit, 2026-10-28

最終更新: 2026-10-28