Oossa

AI21称调整运行方式后,GitLab代码审查成本降低97.7%

AI21在50个公开拉取请求上测试GitLab Duo Code Review。使用DeepSeek V4 Flash并压缩提示词后,测得成本下降,基准测试F1分数仍接近基线。

简讯作者: Oossa 发布日期: 1 分钟阅读

AI21 Labs表示,通过让四个阶段全部使用DeepSeek V4 Flash并压缩提示词,将GitLab Duo Code Review的测得成本从每个拉取请求$0.589降至$0.0135,降幅达97.7%。在Martian的Code Review Bench上,最终配置的F1分数为47.2%,Sonnet 5基线为46.4%。

测试使用了50个公开拉取请求,并非GitLab的生产流量或客户数据。AI21称,未压缩提示词时,有三个请求超出其DeepSeek部署的256K-token上限,因此回退到Sonnet;压缩后,所有审查都在上限范围内。相关设置是在同一批请求上调优和评分的,因此尚未验证其在其他代码库上的表现。

为什么重要

运行代码审查代理的团队可以将这些结果视为一项证据:模型选择和提示词长度可能影响每次审查的开支。但AI21的测试无法证明其他代码库或GitLab较新的模型也能达到相同的节省幅度或质量。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。