Replit har släppt ViBench 2.0, ett benchmarktest som undersöker om AI-kodningsagenter kan bygga en mjukvaruprodukt från grunden och få den att fortsätta fungera när nya funktioner läggs till. Till skillnad från kodningstester där agenten får en specifik uppgift i en befintlig kodbas börjar ViBench med ett tomt projekt och ber agenten skapa produkter som bygger på verktyg som Uber, GitHub och Google Docs.
Benchmarktestet omfattar 17 produkter, 241 funktionsönskemål och 544 testplaner. I de officiella resultaten, som Replits partner Fireworks tog fram, klarade de ledande modellerna GPT-6.1 Sol, GPT-6 Astra och Opus 5.5 alla testplaner i 65, 60 respektive 49 procent av byggena. Ett bygge räknas som godkänt endast om det klarar samtliga testplaner för produkten.
Så fungerar ViBench
Först bygger en agent en produkt utifrån en kort beskrivning. Sedan lägger den till upp till 18 funktioner i sin egen kod. Den processen kan blottlägga problem som en enstaka kodningsuppgift missar: tidiga val av data eller programvarustruktur kan göra det svårare att genomföra senare önskemål. Testerna granskar bland annat om uppdelade taxor för en resa förblir exakta på centen, om dubbla återbetalningar förhindras och om en äldre version av ett redigeringsverktyg undviker att skriva över en lagkamrats nyare ändring.
Avslutningsvis använder en bedömningsagent en riktig webbläsare för att genomföra varje testplan. Replit uppger att de valde Opus 5.5 som bedömare eftersom den gjorde minst antal misstag av de testade modellerna. I en kontroll med 34 avsiktligt inlagda buggar godkände bedömaren aldrig en testplan när en bugg var synlig. GPT-6.1 Sol bekräftade 99,2 procent av de 477 godkända resultaten som den granskade.
Åtta produkter, med tillhörande önskemål och testplaner, finns offentligt på GitHub; de övriga nio hålls tillbaka. Replit uppger att resultaten går att köra om med ett enda kommando med release v2.0.6 och företagets testupplägg, som bygger på OpenHands.
Vad resultaten visar
Den officiella jämförelsen omfattade fyra byggen av varje produkt per modell, med samma testverktyg och inställningar: medelhög ansträngning och en temperatur på 1.0. DeepSeek V4.1 Flash klarade 77 procent av testplanerna och kostade omkring $2.50 per bygge, men ingen modell med öppna vikter klarade samtliga testplaner i ett komplett bygge. GPT-6.1 Sol kostade omkring $12 per bygge, medan GPT-6 Astra kostade omkring $90. Opus 5.5 tog i genomsnitt omkring 70 minuter per bygge, ungefär 2.5 gånger snabbare än Sol.
De främsta modellerna klarade ofta de flesta enskilda testerna men misslyckades ändå med att genomföra ett helt bygge. Enligt Replit uppstod problemen i nästan tre fjärdedelar av de misslyckade byggena när funktioner samverkade. Exempel är att ångra-funktionen påverkade en lagkamrats ändringar i ett designverktyg och att ett utkast till en pull request inte visade en mergekonflikt. Benchmarktestet bedömer inte den visuella utformningen, och Replit uppger att byggen som såg snygga ut inte hade större chans att bli godkända än enklare byggen.
Varför det spelar roll
För team som överväger AI-kodningsagenter visar ViBench att godkänt resultat på enskilda kodningsuppgifter inte garanterar att en produkt fortsätter fungera när funktioner byggs på: de flesta misslyckanden för de främsta modellerna berodde på att funktioner samverkade. Resultaten kan hjälpa team att upptäcka den typen av svagheter, men de visar inte hur modellerna skulle prestera med ett visst företags programvara eller utvecklingsupplägg.
