# AI-kodningsagenter behöver fortfarande mänsklig efterbearbetning

> Ett nytt test visar att den bästa AI-kodaren slutför bara ungefär en fjärdedel av ändringsuppgifterna utan manuell korrigering.

Oossa · 2026-11-08 · https://oossa.com/sv/ai-coding-agents-still-need-human-cleanup-on-most-real-world-tasks

Forskare från Alibaba och flera asiatiska universitet har släppt Co‑Design Bench, ett test där kodningsagenter får ändra aktiva webbappar utifrån verkliga ändringsönskemål från användare. Testet innehåller multimodala indata, som bilder, ljudklipp, videor och dokument, för att spegla hur utvecklare faktiskt arbetar. Tio modeller utvärderades, från GPT‑6 Astra i stil med OpenAI till Claude Opus 5 och Qwen 3.8‑Max.

GPT‑6 Astra presterade bäst och uppfyllde i genomsnitt ungefär 70 % av kraven för varje uppgift. Trots det skapade modellen en helt korrekt app i bara 26.4 % av fallen. I de flesta uppgifter skötte AI:n huvuddelen av arbetet, men lämnade minst en detalj ofärdig. En människa måste alltså fortfarande gå igenom och rätta koden innan den släpps.

Äldre test som WebCompass‑edit rapporterar nästan perfekta resultat för samma modeller, men Co‑Design Bench blottlägger ett gap på mer än 35 procentenheter. Forskarna menar att de äldre testen har blivit för enkla eftersom agenter kan köra, kontrollera och rätta sin egen kod i en sluten loop, vilket blåser upp resultaten.

Resultaten sjönk kraftigt när en och samma uppgift kombinerade tre eller fyra olika typer av ändringar – layout, design, interaktion och innehåll. Alla modeller, även den mindre Qwen 3.8‑27B, hade svårt att klara sådana uppgifter. Inte ens mer beräkningskraft hjälpte särskilt mycket: GLM‑5.2 använde sex gånger fler token än GPT‑6 Astra för enkla ändringar, men fick ändå ett sämre resultat.

## Vad testet visar

Studien visar att kodningsagentens omgivande ramverk – programmet som förser den med kod och kör resultatet – kan påverka resultaten lika mycket som själva modellen. Samma modell fick 75 % i en miljö och 56 % i en annan vid större omarbetningar. Författarna rekommenderar företag att utvärdera både modellen och ramverket tillsammans innan de börjar använda ett verktyg.

Forskarna pekar också på begränsningar: varje uppgift innehåller en enda, fast ändringsbegäran, så uppföljningsfrågor testas inte. Dessutom kan AI-domarna som bedömer apparna göra misstag. Tidigare forskning från METR visade att acceptansen för AI-genererad kod i verkliga projekt var ungefär 24 % lägre än resultaten i populära test som SWE‑bench Verified.

## Fakta

- Co‑Design Bench utvärderar tio kodningsagenter utifrån verkliga ändringsönskemål från användare, inklusive multimodala indata.
- GPT‑6 Astra uppfyller i genomsnitt ungefär 70 % av kraven i uppgifterna, men löser bara 26.4 % av dem helt.
- På äldre test får agenterna över 99 %, medan den bästa modellen på Co‑Design Bench ligger mer än 35 % efter.
- Alla modeller presterar sämre när en uppgift omfattar tre eller fyra olika typer av ändringar.
- Samma modell kan få 75 % eller 56 % vid större omarbetningar, beroende på vilket ramverk som används.

## Varför det spelar roll

För utvecklare som överväger AI-kodningsassistenter innebär resultaten att de fortfarande måste granska och korrigera de flesta ändringar innan programvara kan släppas. Företag bör testa både AI-modellen och dess integrationsmiljö i stället för att förlita sig på testresultat som kan överskatta prestandan i verkliga projekt.

## Källor och referenser

1. [AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test](https://the-decoder.com/ai-coding-agents-still-need-human-cleanup-on-nearly-three-out-of-four-tasks-in-a-real-world-test/) – The Decoder, 2026-11-08

Senast uppdaterad: 2026-11-08