# AI 코딩 에이전트, 실제 작업 대부분은 사람이 손봐야

> 새 벤치마크에 따르면 가장 성능이 좋은 AI 코더도 변경 요청 작업의 약 4분의 1만 수작업 수정 없이 완료한다.

Oossa · 2026-11-08 · https://oossa.com/ko/ai-coding-agents-still-need-human-cleanup-on-most-real-world-tasks

Alibaba와 아시아 여러 대학의 연구진이 실제 웹 앱을 사용자들의 변경 요청에 맞춰 수정하는 코딩 에이전트 평가 도구 Co‑Design Bench를 공개했다. 개발자의 실제 업무 방식을 반영해 이미지, 오디오 클립, 동영상, 문서 등 여러 형태의 입력을 포함한다. OpenAI‑style GPT‑6 Astra부터 Claude Opus 5, Qwen 3.8‑Max까지 10개 모델을 평가했다.

GPT‑6 Astra가 가장 좋은 성능을 보였으며, 각 작업 요구사항을 평균 약 70 % 충족했다. 그래도 완전히 올바른 앱을 만든 경우는 전체의 26.4 %에 그쳤다. 대부분의 작업에서 AI가 상당 부분을 처리했지만 세부 사항을 하나 이상 마무리하지 못했다. 따라서 배포 전에는 여전히 사람이 코드를 손봐야 한다.

WebCompass‑edit 같은 기존 벤치마크에서는 같은 모델들이 거의 만점에 가까운 점수를 얻지만, Co‑Design Bench에서는 35%포인트가 넘는 격차가 드러났다. 연구진은 에이전트가 폐쇄형 순환 구조에서 코드를 실행하고 확인한 뒤 수정할 수 있어 기존 테스트가 지나치게 쉬워졌고, 그 결과 점수가 부풀려졌다고 설명했다.

하나의 작업에 레이아웃, 디자인, 상호작용, 콘텐츠 등 서로 다른 변경 유형이 세 가지나 네 가지 결합되면 성능이 크게 떨어졌다. 소형 모델인 Qwen 3.8‑27B를 포함해 모든 모델이 이런 조건에서 어려움을 겪었다. 연산량을 늘려도 개선 효과는 작았다. GLM‑5.2는 단순한 변경 작업에서 GPT‑6 Astra보다 토큰을 6배 더 사용했지만 점수는 더 낮았다.

## 이 테스트가 보여주는 것

이번 연구는 코딩 에이전트에 코드 입력을 제공하고 결과물을 실행하는 프로그램인 ‘하니스’가 모델 자체만큼이나 결과에 영향을 미칠 수 있음을 보여준다. 대규모 개편 작업에서 같은 모델도 한 환경에서는 75 %, 다른 환경에서는 56 %의 점수를 받았다. 연구진은 기업이 도구를 도입하기 전에 모델과 하니스를 함께 평가해야 한다고 권고했다.

연구진은 이번 평가의 한계도 짚었다. 각 작업에 정해진 요청 하나만 포함돼 후속 질문은 시험하지 않으며, 앱을 채점하는 AI 심사자가 실수할 수도 있다. METR의 앞선 연구에서는 AI가 생성한 코드의 실제 수용률이 SWE‑bench Verified 같은 인기 벤치마크 점수보다 약 24 % 낮은 것으로 나타났다.

## 팩트

- Co‑Design Bench는 멀티모달 입력을 포함한 실제 사용자 변경 요청을 바탕으로 코딩 에이전트 10개를 평가한다.
- GPT‑6 Astra는 작업 요구사항을 평균 약 70 % 충족하지만, 작업을 완전히 해결한 비율은 26.4 %다.
- 기존 벤치마크에서 에이전트는 99 %가 넘는 점수를 얻지만, Co‑Design Bench에서는 최고 성능 모델도 35%포인트 넘게 뒤처진다.
- 작업에 서로 다른 변경 유형이 세 가지나 네 가지 포함되면 모든 모델의 성능이 떨어진다.
- 대규모 개편 작업에서는 사용하는 하니스에 따라 같은 모델의 점수가 75 % 또는 56 %로 달라질 수 있다.

## 왜 중요한가

AI 코딩 도우미를 도입하려는 개발자는 소프트웨어를 배포하기 전에 대부분의 변경 사항을 검토하고 수정해야 한다는 뜻이다. 기업은 실제 성능을 과장할 수 있는 벤치마크 점수에만 의존하지 말고 AI 모델과 통합 환경을 모두 시험해야 한다.

## 출처 및 참고 자료

1. [AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test](https://the-decoder.com/ai-coding-agents-still-need-human-cleanup-on-nearly-three-out-of-four-tasks-in-a-real-world-test/) – The Decoder, 2026-11-08

최종 업데이트: 2026-11-08