AI21 Labs afirma que redujo el costo medido de GitLab Duo Code Review de $0.589 a $0.0135 por solicitud de incorporación de cambios —una caída del 97,7%— al ejecutar las cuatro etapas con DeepSeek V4 Flash y comprimir las instrucciones. En Code Review Bench de Martian, la configuración final obtuvo una puntuación F1 del 47.2%, frente al 46.4% de la versión de referencia con Sonnet 5.
La prueba se realizó con 50 solicitudes de incorporación de cambios públicas, no con el tráfico de producción de GitLab ni con datos de clientes. AI21 afirma que tres solicitudes superaron el límite de 256K tokens de su implementación de DeepSeek cuando no se comprimían las instrucciones y, por ello, se procesaron con Sonnet; la compresión permitió que todas las revisiones se mantuvieran dentro del límite. La configuración se ajustó y evaluó con las mismas solicitudes, así que su rendimiento en otras bases de código no se ha probado.
Por qué importa
Los equipos que usan agentes para revisar código pueden considerar estos resultados como indicios de que la elección del modelo y el tamaño de las instrucciones podrían influir en el gasto por revisión. Sin embargo, la prueba de AI21 no demuestra que se obtengan los mismos ahorros o la misma calidad con otras bases de código ni con el modelo más reciente de GitLab.
