# ViBench 2.0 test of AI’s ability to build complete products

> De benchmark laat AI-codeeragents producten stap voor stap uitbreiden met nieuwe functies. Zelfs de beste modellen slaagden bij slechts 49% tot 65% van de builds voor alle testplannen.

Oossa · 2026-10-28 · https://oossa.com/nl/replit-s-vibench-2-0-tests-whether-ai-can-build-full-products

Replit heeft ViBench 2.0 uitgebracht, een benchmark die test of AI-codeeragents vanaf nul een softwareproduct kunnen bouwen en het werkend kunnen houden terwijl er nieuwe functies bijkomen. Anders dan codeertests waarin een agent een specifieke opdracht krijgt binnen een bestaande codebase, begint ViBench met een leeg project. De agent moet producten maken die zijn gemodelleerd naar tools als Uber, GitHub en Google Docs.

De benchmark omvat 17 producten, 241 functieaanvragen en 544 testplannen. In de officiële resultaten, uitgevoerd door Replit-partner Fireworks, slaagden de best presterende modellen — GPT-6.1 Sol, GPT-6 Astra en Opus 5.5 — bij respectievelijk 65%, 60% en 49% van de builds voor alle testplannen. Een build telt alleen als geslaagd als die alle plannen voor het betreffende product doorstaat.

## Zo werkt ViBench

Een agent bouwt eerst een product op basis van een korte beschrijving en voegt daarna maximaal 18 functies toe aan de eigen code. Die aanpak kan problemen blootleggen die bij een eenmalige programmeeropdracht onopgemerkt blijven: vroege keuzes over gegevens of de softwarestructuur kunnen het lastiger maken om latere verzoeken uit te voeren. De tests toetsen onder meer of gedeelde ritkosten tot op de cent nauwkeurig blijven, dubbele terugbetalingen worden voorkomen en een oudere versie van een editor de nieuwere wijzigingen van een teamgenoot niet overschrijft.

Aan het eind voert een beoordelingsagent elk testplan uit in een echte browser. Replit zegt voor Opus 5.5 als beoordelaar te hebben gekozen, omdat dit model van de geteste modellen de minste fouten maakte. Bij een controle met 34 opzettelijk geïntroduceerde bugs keurde de beoordelaar nooit een plan goed als een bug zichtbaar was; GPT-6.1 Sol bevestigde 99,2% van de 477 passes die het controleerde.

Acht producten, inclusief de verzoeken en testplannen, zijn openbaar op GitHub; de overige negen zijn achtergehouden. Replit zegt dat de resultaten met één opdracht opnieuw kunnen worden uitgevoerd, met release v2.0.6 en de op OpenHands gebaseerde testopstelling.

## Wat de scores laten zien

De officiële vergelijking omvatte vier builds van elk product per model, met dezelfde testomgeving en instellingen: gemiddelde inspanning en een temperatuur van 1.0. DeepSeek V4.1 Flash slaagde voor 77% van de testplannen en kostte naar schatting ongeveer $2.50 per build, maar geen enkel open-weightmodel slaagde in een complete build voor alle plannen. GPT-6.1 Sol kostte ongeveer $12 per build en GPT-6 Astra ongeveer $90. Opus 5.5 deed gemiddeld ongeveer 70 minuten over een build, ruwweg 2.5 keer sneller dan Sol.

De beste modellen doorstonden vaak de meeste afzonderlijke tests, maar slaagden toch niet voor een complete build. Volgens Replit ging het bij bijna driekwart van hun mislukte builds mis doordat functies op elkaar inwerkten. Voorbeelden zijn een ongedaanmakingsactie die wijzigingen van een teamgenoot in een ontwerptool terugdraait en een concept-pullrequest waarin een mergeconflict niet wordt getoond. De benchmark beoordeelt het visuele ontwerp niet. Volgens Replit slaagden aantrekkelijk ogende builds niet vaker dan soberder vormgegeven versies.

## De feiten

- ViBench 2.0 omvat 17 producten, 241 functieaanvragen en 544 testplannen.
- GPT-6.1 Sol had in de officiële resultaten van Fireworks een pass@1-percentage van 65%, tegenover 60% voor GPT-6 Astra en 49% voor Opus 5.5.
- DeepSeek V4.1 Flash slaagde voor 77% van de testplannen, tegen geschatte kosten van ongeveer $2.50 per build, maar geen enkel open-weightmodel slaagde voor een complete build.
- Acht van de 17 producten en hun testplannen zijn openbaar op GitHub.

## Waarom het ertoe doet

Voor teams die AI-codeeragents overwegen, laat ViBench zien dat slagen voor afzonderlijke programmeeropdrachten niet garandeert dat een product blijft werken wanneer er steeds meer functies bijkomen: de meeste mislukkingen van de beste modellen ontstonden door functies die op elkaar inwerkten. De resultaten kunnen teams helpen zulke zwakke plekken te herkennen, maar zeggen niet hoe de modellen zouden presteren met de software of ontwikkelomgeving van een specifiek bedrijf.

## Bronnen en referenties

1. [ViBench 2.0: A Benchmark for Long-Horizon Software Building](https://replit.com/blog/vibench-2-long-horizon-software-benchmark) – Replit, 2026-10-28

Laatst bijgewerkt: 2026-10-28