코딩 에이전트, 작업 비용의 최대 22.75% 낭비한다는 연구 결과

연구진은 SWE-bench 작업을 수행하는 코딩 에이전트를 분석한 결과, 이미 보유한 정보를 다시 검색하거나 비슷한 스크립트를 생성하고 테스트를 재실행하는 등 자원을 비효율적으로 사용하는 행동이 반복적으로 나타났다고 밝혔다. 이런 행동은 작업의 79~98%에서 관찰됐으며, 작업 비용의 최대 22.75%를 차지했다. 연구팀은 개발자가 작성한 가이드를 포함해 낭비를 줄이는 여러 방법을 시험했다. 개발자 작성 가이드는 비용을 최대 41.73% 절감했으며, 자동 생성된 가이드는 효과가 더 낮았다. 한 검색 방식은 오히려 비용을 늘리는 경우도 있었다.