# AI-codeer maakt bij de meeste echte taken nog fouten

> Uit een nieuwe benchmark blijkt dat de beste AI-codeer zonder handmatige correcties slechts ongeveer een kwart van de wijzigingsverzoeken afrondt.

Oossa · 2026-11-08 · https://oossa.com/nl/ai-coding-agents-still-need-human-cleanup-on-most-real-world-tasks

Onderzoekers van Alibaba en verschillende Aziatische universiteiten hebben Co-Design Bench uitgebracht: een test waarin codeeragents live webapps aanpassen op basis van echte wijzigingsverzoeken van gebruikers. De test bevat multimodale invoer, zoals afbeeldingen, audiofragmenten, video’s en documenten, en weerspiegelt daarmee hoe ontwikkelaars in de praktijk werken. Er zijn tien modellen getest, van GPT-6 Astra in de stijl van OpenAI tot Claude Opus 5 en Qwen 3.8-Max.

GPT-6 Astra presteerde het best en voldeed gemiddeld aan ongeveer 70% van de vereisten per taak. Toch leverde het in slechts 26,4% van de gevallen een volledig correcte app op. Bij de meeste taken deed de AI het grootste deel van het werk, maar liet die minstens één detail onafgewerkt. Een mens moet de code dus nog nalopen en corrigeren voordat die wordt uitgebracht.

Oudere benchmarks, zoals WebCompass-edit, geven dezelfde modellen bijna perfecte scores. Co-Design Bench legt echter een verschil van meer dan 35 procentpunten bloot. Volgens de onderzoekers zijn de oudere tests te makkelijk geworden: agents kunnen hun eigen code in een gesloten cyclus uitvoeren, controleren en corrigeren, waardoor hun scores hoger uitvallen.

De prestaties kelderden wanneer één taak drie of vier soorten wijzigingen combineerde: aan de lay-out, het ontwerp, de interactie en de inhoud. Alle modellen, ook het kleinere Qwen 3.8-27B, hadden daar moeite mee. Zelfs meer rekenkracht hielp weinig: GLM-5.2 gebruikte voor eenvoudige wijzigingen zes keer zoveel tokens als GPT-6 Astra, maar scoorde toch lager.

## Wat de test laat zien

Uit het onderzoek blijkt dat de omgeving rond een codeeragent — het programma dat de code aanlevert en de uitvoer ervan draait — de resultaten net zo sterk kan beïnvloeden als het model zelf. Bij grotere aanpassingen scoorde hetzelfde model in de ene omgeving 75% en in de andere 56%. De auteurs raden bedrijven aan om zowel het model als de bijbehorende omgeving te testen voordat ze een tool in gebruik nemen.

De onderzoekers wijzen ook op beperkingen: elke taak bevat één vast verzoek, waardoor vervolgvragen niet worden getest, en de AI-beoordelaars die de apps beoordelen, kunnen fouten maken. Uit eerder onderzoek van METR bleek dat AI-gegenereerde code in de praktijk ongeveer 24% minder vaak werd geaccepteerd dan de scores op populaire benchmarks zoals SWE-bench Verified.

## De feiten

- Co-Design Bench test tien codeeragents aan de hand van echte wijzigingsverzoeken van gebruikers, met onder meer multimodale invoer.
- GPT-6 Astra voldoet gemiddeld aan ongeveer 70% van de vereisten per taak, maar rondt slechts 26,4% van de taken volledig correct af.
- Op oudere benchmarks scoren agents boven de 99%, terwijl het beste model op Co-Design Bench meer dan 35% achterblijft.
- Alle modellen presteren slechter wanneer een taak drie of vier verschillende soorten wijzigingen omvat.
- Afhankelijk van de gebruikte omgeving kan hetzelfde model bij grotere aanpassingen 75% of 56% scoren.

## Waarom het ertoe doet

Voor ontwikkelaars die AI-codeerassistenten overwegen, betekent dit dat ze de meeste wijzigingen nog moeten controleren en corrigeren voordat ze software uitbrengen. Bedrijven moeten zowel het AI-model als de integratieomgeving testen en niet alleen afgaan op benchmarkscores, die de prestaties in de praktijk kunnen overschatten.

## Bronnen en referenties

1. [AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test](https://the-decoder.com/ai-coding-agents-still-need-human-cleanup-on-nearly-three-out-of-four-tasks-in-a-real-world-test/) – The Decoder, 2026-11-08

Laatst bijgewerkt: 2026-11-08