Replit推出ViBench 2.0，测试AI能否打造完整产品

Replit发布了ViBench 2.0，这项基准测试旨在检验AI编程智能体能否从零开始构建软件产品，并在不断添加新功能后维持产品正常运行。不同于让智能体在现有代码库中完成特定任务的编程测试，ViBench从空白项目开始，要求智能体打造类似Uber、GitHub和Google Docs的产品。

这项基准测试涵盖17款产品、241项功能需求和544份测试计划。在Replit合作伙伴Fireworks进行的官方测试中，排名靠前的模型GPT-6.1 Sol、GPT-6 Astra和Opus 5.5，分别在65%、60%和49%的构建中通过了全部测试计划。只有通过某款产品的所有测试计划，该次构建才算通过。

ViBench如何运作

智能体先根据简短描述构建产品，再为自己的代码添加最多18项功能。这种流程可能暴露出一次性编程任务无法发现的问题：早期在数据或软件架构上的选择，可能让后续功能更难实现。测试涵盖的细节包括：拼车费用分摊精确到分、避免重复退款，以及确保旧版编辑器不会覆盖队友更新后的修改。

最后，评分智能体会通过真实浏览器执行每份测试计划。Replit表示，在测试过的模型中，Opus 5.5犯错最少，因此选它担任评分智能体。在一项测试中，研究人员故意植入34个漏洞；只要漏洞显而易见，评分智能体就从未判定相应测试计划通过。GPT-6.1 Sol则确认了其复核的477次通过结果中的99.2%。

其中8款产品及其功能需求和测试计划已在GitHub上公开，其余9款暂不公开。Replit表示，使用v2.0.6版本和基于OpenHands的测试环境，只需一条命令即可重新运行测试。

分数说明了什么

官方对比测试中，每个模型对每款产品构建4次，使用相同的测试框架和设置：medium effort，温度为1.0。DeepSeek V4.1 Flash通过了77%的测试计划，每次构建成本约为$2.50，但没有任何开放权重模型在完整构建中通过全部测试计划。GPT-6.1 Sol每次构建成本约为$12，GPT-6 Astra则约为$90。Opus 5.5平均每次构建耗时约70分钟，比Sol快约2.5倍。

排名靠前的模型往往能通过大多数单项测试，但仍未能完成整个构建。Replit表示，这些模型近四分之三的构建失败都出现在功能相互作用时。例如，设计工具中的撤销操作影响了队友的编辑，或草稿拉取请求未能显示合并冲突。这项基准测试不评估视觉设计；Replit称，外观更吸引人的构建并不比设计朴素的构建更容易通过测试。