Onderzoekers van Alibaba en verschillende Aziatische universiteiten hebben Co-Design Bench uitgebracht: een test waarin codeeragents live webapps aanpassen op basis van echte wijzigingsverzoeken van gebruikers. De test bevat multimodale invoer, zoals afbeeldingen, audiofragmenten, video’s en documenten, en weerspiegelt daarmee hoe ontwikkelaars in de praktijk werken. Er zijn tien modellen getest, van GPT-6 Astra in de stijl van OpenAI tot Claude Opus 5 en Qwen 3.8-Max.
GPT-6 Astra presteerde het best en voldeed gemiddeld aan ongeveer 70% van de vereisten per taak. Toch leverde het in slechts 26,4% van de gevallen een volledig correcte app op. Bij de meeste taken deed de AI het grootste deel van het werk, maar liet die minstens één detail onafgewerkt. Een mens moet de code dus nog nalopen en corrigeren voordat die wordt uitgebracht.
Oudere benchmarks, zoals WebCompass-edit, geven dezelfde modellen bijna perfecte scores. Co-Design Bench legt echter een verschil van meer dan 35 procentpunten bloot. Volgens de onderzoekers zijn de oudere tests te makkelijk geworden: agents kunnen hun eigen code in een gesloten cyclus uitvoeren, controleren en corrigeren, waardoor hun scores hoger uitvallen.
De prestaties kelderden wanneer één taak drie of vier soorten wijzigingen combineerde: aan de lay-out, het ontwerp, de interactie en de inhoud. Alle modellen, ook het kleinere Qwen 3.8-27B, hadden daar moeite mee. Zelfs meer rekenkracht hielp weinig: GLM-5.2 gebruikte voor eenvoudige wijzigingen zes keer zoveel tokens als GPT-6 Astra, maar scoorde toch lager.
Wat de test laat zien
Uit het onderzoek blijkt dat de omgeving rond een codeeragent — het programma dat de code aanlevert en de uitvoer ervan draait — de resultaten net zo sterk kan beïnvloeden als het model zelf. Bij grotere aanpassingen scoorde hetzelfde model in de ene omgeving 75% en in de andere 56%. De auteurs raden bedrijven aan om zowel het model als de bijbehorende omgeving te testen voordat ze een tool in gebruik nemen.
De onderzoekers wijzen ook op beperkingen: elke taak bevat één vast verzoek, waardoor vervolgvragen niet worden getest, en de AI-beoordelaars die de apps beoordelen, kunnen fouten maken. Uit eerder onderzoek van METR bleek dat AI-gegenereerde code in de praktijk ongeveer 24% minder vaak werd geaccepteerd dan de scores op populaire benchmarks zoals SWE-bench Verified.
Waarom het ertoe doet
Voor ontwikkelaars die AI-codeerassistenten overwegen, betekent dit dat ze de meeste wijzigingen nog moeten controleren en corrigeren voordat ze software uitbrengen. Bedrijven moeten zowel het AI-model als de integratieomgeving testen en niet alleen afgaan op benchmarkscores, die de prestaties in de praktijk kunnen overschatten.
