Replit hat ViBench 2.0 veröffentlicht. Der Benchmark prüft, ob KI-Coding-Agenten ein Softwareprodukt von Grund auf erstellen und es funktionsfähig halten können, wenn neue Funktionen hinzukommen. Anders als Coding-Tests, bei denen ein Agent eine konkrete Aufgabe in einer bestehenden Codebasis erhält, beginnt ViBench mit einem leeren Projekt. Die Agenten sollen Produkte entwickeln, die Tools wie Uber, GitHub und Google Docs nachempfunden sind.
Der Benchmark umfasst 17 Produkte, 241 Funktionsanfragen und 544 Testpläne. Bei offiziellen Tests des Replit-Partners Fireworks bestanden die führenden Modelle GPT-6.1 Sol, GPT-6 Astra und Opus 5.5 sämtliche Testpläne bei 65, 60 beziehungsweise 49 Prozent der Builds. Ein Build gilt nur dann als bestanden, wenn alle Testpläne für das jeweilige Produkt erfüllt sind.
So funktioniert ViBench
Zunächst erstellt ein Agent anhand einer kurzen Beschreibung ein Produkt. Anschließend ergänzt er in seinem eigenen Code bis zu 18 Funktionen. Diese Abfolge kann Probleme aufdecken, die bei einer einmaligen Coding-Aufgabe verborgen bleiben: Frühe Entscheidungen zur Datenstruktur oder Softwarearchitektur können spätere Änderungen erschweren. Die Tests prüfen unter anderem, ob die Aufteilung eines Fahrpreises auf den Cent genau stimmt, doppelte Rückerstattungen verhindert werden und ein älterer Stand eines Editors nicht die neueren Änderungen eines Teammitglieds überschreibt.
Zum Schluss führt ein Bewertungsagent jeden Testplan in einem echten Browser aus. Replit zufolge fiel die Wahl auf Opus 5.5 als Bewertungsmodell, weil es unter den getesteten Modellen die wenigsten Fehler machte. Bei einer Prüfung mit 34 absichtlich eingebauten Fehlern bestand das Bewertungsmodell nie einen Testplan, wenn darin ein Fehler sichtbar war. GPT-6.1 Sol bestätigte 99,2 Prozent der 477 von ihm überprüften bestandenen Tests.
Acht Produkte einschließlich ihrer Anfragen und Testpläne sind auf GitHub öffentlich verfügbar; die übrigen neun hält Replit zurück. Das Unternehmen zufolge lassen sich die Ergebnisse mit einem einzigen Befehl erneut ausführen – mit Release v2.0.6 und dem auf OpenHands basierenden Testaufbau.
Was die Ergebnisse zeigen
Für den offiziellen Vergleich wurden pro Modell und Produkt vier Builds mit demselben Testaufbau und denselben Einstellungen durchgeführt: mittlerer Aufwand und eine Temperatur von 1.0. DeepSeek V4.1 Flash bestand 77 Prozent der Testpläne und kostete pro Build schätzungsweise $2.50. Allerdings bestand kein Modell mit offenen Gewichten sämtliche Testpläne eines vollständigen Builds. GPT-6.1 Sol kostete pro Build etwa $12, GPT-6 Astra etwa $90. Opus 5.5 brauchte im Schnitt rund 70 Minuten pro Build und war damit etwa 2.5-mal schneller als Sol.
Die führenden Modelle meisterten häufig die meisten einzelnen Tests, scheiterten aber trotzdem an einem vollständigen Build. Laut Replit gingen fast drei Viertel ihrer fehlgeschlagenen Builds an Stellen kaputt, an denen Funktionen miteinander interagierten. Dazu zählt etwa, dass die Rückgängig-Funktion in einem Designtool die Änderungen eines Teammitglieds betraf, oder dass in einem Entwurf für einen Pull Request ein Merge-Konflikt nicht angezeigt wurde. Der Benchmark bewertet das visuelle Design nicht. Replit zufolge bestanden ansprechend gestaltete Builds die Tests nicht häufiger als schlichtere.
Warum es wichtig ist
Für Teams, die den Einsatz von KI-Coding-Agenten erwägen, zeigt ViBench: Das Bestehen einzelner Coding-Aufgaben garantiert nicht, dass ein Produkt auch mit immer mehr Funktionen zuverlässig läuft. Die meisten Fehler der führenden Modelle traten beim Zusammenspiel von Funktionen auf. Die Ergebnisse können Teams helfen, solche Schwächen zu erkennen. Sie zeigen jedoch nicht, wie die Modelle mit der Software oder Entwicklungsumgebung eines bestimmten Unternehmens zurechtkämen.
