Forschende von Alibaba und mehreren asiatischen Universitäten haben Co-Design Bench veröffentlicht. Der Test fordert Coding-Agenten dazu auf, laufende Web-Apps anhand echter Änderungswünsche von Nutzern anzupassen. Dazu gehören multimodale Eingaben wie Bilder, Audioclips, Videos und Dokumente – so, wie Entwicklerinnen und Entwickler tatsächlich arbeiten. Bewertet wurden zehn Modelle, darunter GPT-6 Astra im Stil von OpenAI, Claude Opus 5 und Qwen 3.8-Max.
GPT-6 Astra schnitt am besten ab und erfüllte im Durchschnitt rund 70 % der Anforderungen jeder Aufgabe. Dennoch lieferte es nur in 26,4 % der Fälle eine vollständig korrekte App. Bei den meisten Aufgaben erledigte die KI den Großteil der Arbeit, ließ aber mindestens ein Detail offen. Vor der Veröffentlichung muss daher weiterhin ein Mensch den Code nachbessern.
Ältere Benchmarks wie WebCompass-edit weisen für dieselben Modelle nahezu perfekte Ergebnisse aus. Co-Design Bench macht jedoch eine Lücke von mehr als 35 Prozentpunkten sichtbar. Laut den Forschenden sind die älteren Tests zu einfach geworden: Agenten können ihren Code in einer geschlossenen Schleife ausführen, prüfen und korrigieren, was die Ergebnisse in die Höhe treibt.
Deutlich schlechter waren die Ergebnisse, wenn eine Aufgabe drei oder vier verschiedene Änderungsarten kombinierte – Layout, Design, Interaktion und Inhalte. Unter diesen Bedingungen hatten alle Modelle Schwierigkeiten, auch das kleinere Qwen 3.8-27B. Selbst mehr Rechenleistung half kaum: GLM-5.2 verwendete bei einfachen Änderungen sechsmal so viele Tokens wie GPT-6 Astra und erzielte trotzdem ein schlechteres Ergebnis.
Was der Test zeigt
Die Studie macht deutlich, dass auch die Umgebung eines Coding-Agenten – das Programm, das ihm Code zuführt und seine Ausgabe ausführt – die Ergebnisse ebenso stark beeinflussen kann wie das Modell selbst. Bei umfangreicheren Überarbeitungen erzielte dasselbe Modell in einer Umgebung 75 % und in einer anderen 56 %. Die Autoren raten Unternehmen, vor dem Einsatz eines Tools Modell und Umgebung gemeinsam zu bewerten.
Die Forschenden weisen auch auf Einschränkungen hin: Jede Aufgabe enthält nur einen festgelegten Änderungswunsch, sodass Rückfragen nicht getestet werden. Außerdem können die KI-Systeme, die die Apps bewerten, Fehler machen. Frühere Untersuchungen von METR ergaben, dass KI-generierter Code in der Praxis rund 24 % seltener akzeptiert wurde, als es die Ergebnisse beliebter Benchmarks wie SWE-bench Verified vermuten ließen.
Warum es wichtig ist
Für Entwicklerinnen und Entwickler, die KI-Coding-Assistenten in Betracht ziehen, heißt das: Vor der Veröffentlichung müssen sie die meisten Änderungen weiterhin prüfen und korrigieren. Unternehmen sollten sowohl das KI-Modell als auch seine Integrationsumgebung testen, statt sich auf Benchmark-Ergebnisse zu verlassen, die die Leistung in der Praxis möglicherweise überschätzen.
