AI21 Labsによると、4つの処理段階すべてでDeepSeek V4 Flashを使い、プロンプトを圧縮した結果、GitLab Duo Code Reviewの測定コストはプルリクエスト1件あたり$0.589から$0.0135に下がり、97.7%の削減となった。MartianのCode Review Benchでは、最終構成のF1スコアは47.2%で、Sonnet 5を使ったベースラインの46.4%を上回った。
検証に使ったのは公開プルリクエスト50件で、GitLabの本番環境のトラフィックや顧客データではない。AI21によると、プロンプトを圧縮しない場合、3件のリクエストがDeepSeekのデプロイ環境の上限である256Kトークンを超え、Sonnetに切り替わった。圧縮後はすべてのレビューが上限内に収まった。設定の調整と評価は同じリクエストを使って行われており、ほかのコードベースでの性能は検証されていない。
なぜ重要か
コードレビューエージェントを運用するチームにとって、モデルの選択やプロンプトの長さがレビュー1件あたりの費用に影響しうることを示す結果だ。ただし、AI21の検証だけでは、ほかのコードベースやGitLabの新しいモデルでも同じコスト削減や品質が得られるとは言えない。
