AI21 Labs zegt de gemeten kosten van GitLab Duo Code Review te hebben verlaagd van $0.589 naar $0.0135 per pull request — een daling van 97,7% — door alle vier de stappen met DeepSeek V4 Flash uit te voeren en de prompts compacter te maken. Op Martian’s Code Review Bench behaalde de uiteindelijke configuratie een F1-score van 47.2%, tegenover 46.4% voor de Sonnet 5-uitgangsmeting.
De test omvatte 50 openbare pull requests, geen productieverkeer of klantgegevens van GitLab. Volgens AI21 overschreden drie verzoeken zonder compacte prompts de limiet van 256K tokens van de DeepSeek-implementatie en werden ze afgehandeld met Sonnet; door de prompts compacter te maken, bleef elke beoordeling binnen de limiet. De instellingen zijn op dezelfde verzoeken afgesteld en beoordeeld, dus de prestaties op andere codebases zijn niet getest.
Waarom het ertoe doet
Teams die codebeoordelingsagents inzetten, kunnen de resultaten zien als aanwijzing dat de modelkeuze en promptlengte invloed kunnen hebben op de kosten per beoordeling. De test van AI21 toont echter niet aan dat dezelfde besparingen of kwaliteit gelden voor andere codebases of voor het nieuwere model van GitLab.
