AI21 Labs表示,通过让四个阶段全部使用DeepSeek V4 Flash并压缩提示词,将GitLab Duo Code Review的测得成本从每个拉取请求$0.589降至$0.0135,降幅达97.7%。在Martian的Code Review Bench上,最终配置的F1分数为47.2%,Sonnet 5基线为46.4%。
测试使用了50个公开拉取请求,并非GitLab的生产流量或客户数据。AI21称,未压缩提示词时,有三个请求超出其DeepSeek部署的256K-token上限,因此回退到Sonnet;压缩后,所有审查都在上限范围内。相关设置是在同一批请求上调优和评分的,因此尚未验证其在其他代码库上的表现。
为什么重要
运行代码审查代理的团队可以将这些结果视为一项证据:模型选择和提示词长度可能影响每次审查的开支。但AI21的测试无法证明其他代码库或GitLab较新的模型也能达到相同的节省幅度或质量。