AI21 Labs affirme avoir réduit le coût mesuré de GitLab Duo Code Review, de $0.589 à $0.0135 par pull request — soit une baisse de 97,7 % — en exécutant les quatre étapes avec DeepSeek V4 Flash et en raccourcissant les prompts. Sur le Code Review Bench de Martian, la configuration finale a obtenu un score F1 de 47.2 %, contre 46.4 % pour la référence Sonnet 5.
Le test portait sur 50 pull requests publiques, et non sur le trafic de production de GitLab ou les données de ses clients. AI21 indique que trois pull requests dépassaient la limite de 256K tokens de son déploiement de DeepSeek sans raccourcissement des prompts et basculaient alors sur Sonnet ; leur réduction a permis de traiter toutes les revues dans cette limite. Les réglages ont été optimisés et évalués sur les mêmes pull requests : leurs performances sur d’autres bases de code n’ont donc pas été testées.
Pourquoi c'est important
Pour les équipes qui utilisent des agents de revue de code, ces résultats montrent que le choix du modèle et la longueur des prompts peuvent influer sur le coût de chaque revue. Mais le test d’AI21 ne permet pas de conclure à des économies ou à une qualité équivalentes sur d’autres bases de code, ni avec le modèle plus récent de GitLab.
