AI21 Labs afferma di aver ridotto il costo misurato di GitLab Duo Code Review da $0.589 a $0.0135 per pull request, con un calo del 97,7%, eseguendo tutte e quattro le fasi con DeepSeek V4 Flash e compattando i prompt. Sul Code Review Bench di Martian, la configurazione finale ha ottenuto un F1 del 47.2%, rispetto al 46.4% della configurazione di riferimento con Sonnet 5.
Il test ha riguardato 50 pull request pubbliche, non il traffico di produzione di GitLab né i dati dei clienti. AI21 afferma che, senza compattazione, tre richieste superavano il limite di 256K token della sua distribuzione di DeepSeek e venivano quindi elaborate con Sonnet; la compattazione ha permesso di mantenere tutte le revisioni entro il limite. Le impostazioni sono state messe a punto e valutate sulle stesse richieste, quindi le prestazioni su altre basi di codice non sono state verificate.
Perché conta
Per i team che usano agenti per la revisione del codice, questi risultati indicano che la scelta del modello e la dimensione dei prompt possono influire sulla spesa per revisione. Il test di AI21, però, non dimostra che si ottengano gli stessi risparmi o la stessa qualità su altre basi di codice o con il modello più recente adottato da GitLab.
