Replit이 AI 코딩 에이전트가 소프트웨어 제품을 처음부터 만들고 새 기능이 추가돼도 제대로 작동하게 유지할 수 있는지 평가하는 벤치마크 ViBench 2.0을 공개했다. 기존 코드베이스에서 특정 작업을 수행하게 하는 코딩 테스트와 달리, ViBench는 빈 프로젝트에서 시작해 Uber, GitHub, Google Docs 같은 도구를 본뜬 제품을 만들도록 한다.
벤치마크에는 제품 17개, 기능 요청 241개, 테스트 계획 544개가 포함됐다. Replit의 파트너사 Fireworks가 진행한 공식 평가에서 상위 모델인 GPT-6.1 Sol, GPT-6 Astra, Opus 5.5는 각각 빌드의 65%, 60%, 49%에서 모든 테스트 계획을 통과했다. 제품별 테스트 계획을 전부 통과해야 해당 빌드가 통과한 것으로 집계된다.
ViBench의 작동 방식
에이전트는 먼저 짧은 설명을 바탕으로 제품을 만들고, 이어서 자신이 작성한 코드에 최대 18개 기능을 추가한다. 이 과정은 단발성 코딩 작업에서는 드러나지 않는 문제를 찾아낼 수 있다. 초기 단계에서 데이터나 소프트웨어 구조를 어떻게 설계했는지에 따라 나중에 요청된 기능을 구현하기 어려워질 수 있기 때문이다. 테스트에서는 나눠 낸 차량 요금을 센트 단위까지 정확하게 유지하는지, 환불이 중복되지 않도록 막는지, 이전 버전의 편집기가 팀원의 최신 변경 사항을 덮어쓰지 않는지 등을 확인한다.
마지막으로 채점 에이전트가 실제 브라우저를 사용해 각 테스트 계획을 수행한다. Replit은 시험한 모델 가운데 실수가 가장 적었다는 이유로 Opus 5.5를 채점 모델로 선정했다고 밝혔다. 의도적으로 버그 34개를 넣어 점검했을 때, 채점 모델은 버그가 드러난 테스트 계획을 한 번도 통과 처리하지 않았다. GPT-6.1 Sol은 검토한 477건의 통과 판정 중 99.2%를 확인했다.
요청 사항과 테스트 계획을 포함한 제품 8개는 GitHub에 공개됐으며, 나머지 9개는 공개되지 않았다. Replit에 따르면 출시 버전 v2.0.6과 OpenHands 기반 테스트 환경을 사용하면 명령어 하나로 결과를 다시 실행할 수 있다.
점수가 보여주는 것
공식 비교에서는 각 모델이 동일한 테스트 환경과 설정으로 제품마다 네 차례 빌드했다. 설정은 medium effort, 온도는 1.0이었다. DeepSeek V4.1 Flash는 테스트 계획의 77%를 통과했고 빌드당 비용은 약 $2.50이었지만, 오픈 웨이트 모델 가운데 전체 빌드를 통과한 모델은 없었다. GPT-6.1 Sol은 빌드당 약 $12, GPT-6 Astra는 약 $90의 비용이 들었다. Opus 5.5는 빌드당 평균 약 70분이 걸렸으며, Sol보다 약 2.5배 빨랐다.
상위 모델은 개별 테스트 대부분을 통과하는 경우가 많았지만 빌드 전체를 통과하지는 못했다. Replit은 실패한 빌드의 거의 4분의 3에서 기능 간 상호작용이 문제였다고 밝혔다. 예를 들어 디자인 도구에서 실행 취소를 하면 팀원의 수정 사항까지 영향을 받거나, 초안 상태의 풀 리퀘스트에 병합 충돌이 표시되지 않는 문제가 있었다. 이 벤치마크는 시각적 디자인을 평가하지 않으며, Replit에 따르면 보기 좋은 빌드가 덜 다듬어진 빌드보다 통과 가능성이 높지는 않았다.
왜 중요한가
AI 코딩 에이전트 도입을 고려하는 팀에 ViBench는 개별 코딩 작업을 통과한다고 해서 기능이 쌓인 뒤에도 제품이 계속 정상 작동하는 것은 아니라는 근거를 제공한다. 상위 모델의 실패는 대부분 기능 간 상호작용과 관련됐다. 이 결과는 팀이 그런 약점을 파악하는 데 도움이 될 수 있지만, 특정 기업의 소프트웨어나 개발 환경에서 모델이 어떻게 작동할지를 입증하지는 않는다.
