Replit heeft ViBench 2.0 uitgebracht, een benchmark die test of AI-codeeragents vanaf nul een softwareproduct kunnen bouwen en het werkend kunnen houden terwijl er nieuwe functies bijkomen. Anders dan codeertests waarin een agent een specifieke opdracht krijgt binnen een bestaande codebase, begint ViBench met een leeg project. De agent moet producten maken die zijn gemodelleerd naar tools als Uber, GitHub en Google Docs.
De benchmark omvat 17 producten, 241 functieaanvragen en 544 testplannen. In de officiële resultaten, uitgevoerd door Replit-partner Fireworks, slaagden de best presterende modellen — GPT-6.1 Sol, GPT-6 Astra en Opus 5.5 — bij respectievelijk 65%, 60% en 49% van de builds voor alle testplannen. Een build telt alleen als geslaagd als die alle plannen voor het betreffende product doorstaat.
Zo werkt ViBench
Een agent bouwt eerst een product op basis van een korte beschrijving en voegt daarna maximaal 18 functies toe aan de eigen code. Die aanpak kan problemen blootleggen die bij een eenmalige programmeeropdracht onopgemerkt blijven: vroege keuzes over gegevens of de softwarestructuur kunnen het lastiger maken om latere verzoeken uit te voeren. De tests toetsen onder meer of gedeelde ritkosten tot op de cent nauwkeurig blijven, dubbele terugbetalingen worden voorkomen en een oudere versie van een editor de nieuwere wijzigingen van een teamgenoot niet overschrijft.
Aan het eind voert een beoordelingsagent elk testplan uit in een echte browser. Replit zegt voor Opus 5.5 als beoordelaar te hebben gekozen, omdat dit model van de geteste modellen de minste fouten maakte. Bij een controle met 34 opzettelijk geïntroduceerde bugs keurde de beoordelaar nooit een plan goed als een bug zichtbaar was; GPT-6.1 Sol bevestigde 99,2% van de 477 passes die het controleerde.
Acht producten, inclusief de verzoeken en testplannen, zijn openbaar op GitHub; de overige negen zijn achtergehouden. Replit zegt dat de resultaten met één opdracht opnieuw kunnen worden uitgevoerd, met release v2.0.6 en de op OpenHands gebaseerde testopstelling.
Wat de scores laten zien
De officiële vergelijking omvatte vier builds van elk product per model, met dezelfde testomgeving en instellingen: gemiddelde inspanning en een temperatuur van 1.0. DeepSeek V4.1 Flash slaagde voor 77% van de testplannen en kostte naar schatting ongeveer $2.50 per build, maar geen enkel open-weightmodel slaagde in een complete build voor alle plannen. GPT-6.1 Sol kostte ongeveer $12 per build en GPT-6 Astra ongeveer $90. Opus 5.5 deed gemiddeld ongeveer 70 minuten over een build, ruwweg 2.5 keer sneller dan Sol.
De beste modellen doorstonden vaak de meeste afzonderlijke tests, maar slaagden toch niet voor een complete build. Volgens Replit ging het bij bijna driekwart van hun mislukte builds mis doordat functies op elkaar inwerkten. Voorbeelden zijn een ongedaanmakingsactie die wijzigingen van een teamgenoot in een ontwerptool terugdraait en een concept-pullrequest waarin een mergeconflict niet wordt getoond. De benchmark beoordeelt het visuele ontwerp niet. Volgens Replit slaagden aantrekkelijk ogende builds niet vaker dan soberder vormgegeven versies.
Waarom het ertoe doet
Voor teams die AI-codeeragents overwegen, laat ViBench zien dat slagen voor afzonderlijke programmeeropdrachten niet garandeert dat een product blijft werken wanneer er steeds meer functies bijkomen: de meeste mislukkingen van de beste modellen ontstonden door functies die op elkaar inwerkten. De resultaten kunnen teams helpen zulke zwakke plekken te herkennen, maar zeggen niet hoe de modellen zouden presteren met de software of ontwikkelomgeving van een specifiek bedrijf.
