AI21 Labs zufolge senkte das Unternehmen die gemessenen Kosten von GitLab Duo Code Review von $0.589 auf $0.0135 pro Pull Request – ein Rückgang um 97,7 %. Dafür führte AI21 alle vier Phasen mit DeepSeek V4 Flash aus und kürzte die Prompts. Im Code Review Bench von Martian erzielte die endgültige Konfiguration einen F1-Wert von 47,2 %, verglichen mit 46,4 % bei der Sonnet-5-Baseline.
Der Test umfasste 50 öffentliche Pull Requests, nicht den Produktionsverkehr von GitLab oder Kundendaten. AI21 zufolge überschritten drei Anfragen ohne gekürzte Prompts das Token-Limit von 256K seiner DeepSeek-Bereitstellung und wurden mit Sonnet bearbeitet. Durch das Kürzen der Prompts passten alle Reviews ins Limit. Die Einstellungen wurden anhand derselben Anfragen optimiert und bewertet; ihre Leistung bei anderen Codebasen wurde nicht getestet.
Warum es wichtig ist
Teams, die Agenten für Code-Reviews einsetzen, können die Ergebnisse als Hinweis darauf verstehen, dass die Wahl des Modells und die Prompt-Länge die Kosten pro Review beeinflussen können. AI21s Test belegt jedoch weder dieselben Einsparungen noch dieselbe Qualität bei anderen Codebasen oder mit dem neueren Modell von GitLab.
