A AI21 Labs afirma ter reduzido o custo medido do GitLab Duo Code Review de US$ 0.589 para US$ 0.0135 por pull request — uma queda de 97,7% — ao executar as quatro etapas com o DeepSeek V4 Flash e compactar os prompts. No Code Review Bench da Martian, a configuração final obteve F1 de 47.2%, ante 46.4% da linha de base com o Sonnet 5.
O teste usou 50 pull requests públicos, não tráfego de produção nem dados de clientes do GitLab. Segundo a AI21, três solicitações ultrapassaram o limite de 256K tokens da implantação do DeepSeek e foram direcionadas ao Sonnet; com a compactação, todas as revisões ficaram dentro do limite. As configurações foram ajustadas e avaliadas usando as mesmas solicitações, portanto o desempenho em outras bases de código não foi testado.
Por que importa
Equipes que usam agentes de revisão de código podem considerar os resultados um indício de que a escolha do modelo e o tamanho dos prompts influenciam o gasto por revisão. Mas o teste da AI21 não comprova que a economia ou a qualidade serão as mesmas em outras bases de código ou com o modelo mais recente do GitLab.
