AI21 Labs는 4단계 모두에 DeepSeek V4 Flash를 사용하고 프롬프트를 압축해 GitLab Duo Code Review의 측정 비용을 풀 리퀘스트당 $0.589에서 $0.0135로 낮췄다고 밝혔다. 97.7% 절감한 것이다. Martian의 Code Review Bench에서 최종 설정은 F1 점수 47.2%를 기록해 Sonnet 5 기준 모델의 46.4%보다 높았다.
이번 테스트는 공개 풀 리퀘스트 50건을 대상으로 했으며, GitLab의 실제 운영 트래픽이나 고객 데이터는 사용하지 않았다. AI21에 따르면 프롬프트를 압축하지 않았을 때 요청 3건이 DeepSeek 배포 환경의 256K 토큰 한도를 초과해 Sonnet으로 전환됐지만, 압축 후에는 모든 리뷰가 한도 안에 들어왔다. 설정을 조정하고 점수를 측정할 때 같은 요청을 사용했기 때문에 다른 코드베이스에서의 성능은 검증되지 않았다.
왜 중요한가
코드 리뷰 에이전트를 운영하는 팀은 이번 결과를 바탕으로 모델 선택과 프롬프트 크기가 리뷰당 비용에 영향을 줄 수 있다고 볼 수 있다. 다만 AI21의 테스트만으로는 다른 코드베이스나 GitLab의 최신 모델에서도 같은 비용 절감과 품질을 달성할 수 있다고 단정할 수 없다.
