По данным AI21 Labs, стоимость ревью одного запроса на слияние в GitLab Duo Code Review удалось снизить с $0.589 до $0.0135 — на 97,7%. Для этого все четыре этапа перевели на DeepSeek V4 Flash и сократили промпты. В Code Review Bench от Martian итоговая конфигурация набрала 47,2% F1 против 46,4% у базовой версии на Sonnet 5.
В тесте участвовали 50 публичных запросов на слияние — не трафик GitLab в рабочей среде и не данные клиентов. AI21 сообщает, что без сокращения промптов три запроса превысили лимит в 256K токенов в её развёртывании DeepSeek, поэтому для них использовали Sonnet. После сокращения промптов все ревью укладывались в лимит. Настройки подбирали и оценивали на тех же запросах, поэтому их эффективность на других кодовых базах не проверяли.
Почему это важно
Для команд, использующих агентов для ревью кода, эти результаты показывают, что выбор модели и длина промпта могут влиять на расходы на одно ревью. Однако тест AI21 не подтверждает, что такая же экономия и качество будут достигнуты на других кодовых базах или с более новой моделью GitLab.
