# Replit推出ViBench 2.0，测试AI能否打造完整产品

> 这项基准测试要求编程智能体逐步添加功能、构建产品。即便是表现最好的模型，也只在49%至65%的构建中通过了全部测试计划。

Oossa · 2026-10-28 · https://oossa.com/zh/replit-s-vibench-2-0-tests-whether-ai-can-build-full-products

Replit发布了ViBench 2.0，这项基准测试旨在检验AI编程智能体能否从零开始构建软件产品，并在不断添加新功能后维持产品正常运行。不同于让智能体在现有代码库中完成特定任务的编程测试，ViBench从空白项目开始，要求智能体打造类似Uber、GitHub和Google Docs的产品。

这项基准测试涵盖17款产品、241项功能需求和544份测试计划。在Replit合作伙伴Fireworks进行的官方测试中，排名靠前的模型GPT-6.1 Sol、GPT-6 Astra和Opus 5.5，分别在65%、60%和49%的构建中通过了全部测试计划。只有通过某款产品的所有测试计划，该次构建才算通过。

## ViBench如何运作

智能体先根据简短描述构建产品，再为自己的代码添加最多18项功能。这种流程可能暴露出一次性编程任务无法发现的问题：早期在数据或软件架构上的选择，可能让后续功能更难实现。测试涵盖的细节包括：拼车费用分摊精确到分、避免重复退款，以及确保旧版编辑器不会覆盖队友更新后的修改。

最后，评分智能体会通过真实浏览器执行每份测试计划。Replit表示，在测试过的模型中，Opus 5.5犯错最少，因此选它担任评分智能体。在一项测试中，研究人员故意植入34个漏洞；只要漏洞显而易见，评分智能体就从未判定相应测试计划通过。GPT-6.1 Sol则确认了其复核的477次通过结果中的99.2%。

其中8款产品及其功能需求和测试计划已在GitHub上公开，其余9款暂不公开。Replit表示，使用v2.0.6版本和基于OpenHands的测试环境，只需一条命令即可重新运行测试。

## 分数说明了什么

官方对比测试中，每个模型对每款产品构建4次，使用相同的测试框架和设置：medium effort，温度为1.0。DeepSeek V4.1 Flash通过了77%的测试计划，每次构建成本约为$2.50，但没有任何开放权重模型在完整构建中通过全部测试计划。GPT-6.1 Sol每次构建成本约为$12，GPT-6 Astra则约为$90。Opus 5.5平均每次构建耗时约70分钟，比Sol快约2.5倍。

排名靠前的模型往往能通过大多数单项测试，但仍未能完成整个构建。Replit表示，这些模型近四分之三的构建失败都出现在功能相互作用时。例如，设计工具中的撤销操作影响了队友的编辑，或草稿拉取请求未能显示合并冲突。这项基准测试不评估视觉设计；Replit称，外观更吸引人的构建并不比设计朴素的构建更容易通过测试。

## 事实

- ViBench 2.0涵盖17款产品、241项功能需求和544份测试计划。
- 在Fireworks的官方测试中，GPT-6.1 Sol的pass@1通过率为65%，GPT-6 Astra为60%，Opus 5.5为49%。
- DeepSeek V4.1 Flash通过了77%的测试计划，估算每次构建成本约为$2.50，但没有任何开放权重模型完成一次通过全部测试计划的构建。
- 17款产品中有8款及其测试计划已在GitHub上公开。

## 为什么重要

对于正在考虑使用AI编程智能体的团队，ViBench提供了证据：通过单独的编程任务，并不意味着产品在功能不断增加后仍能正常运行。表现最好的模型大多数失败都与功能之间的相互作用有关。测试结果有助于团队发现这类弱点，但无法说明这些模型在某家公司的软件或开发环境中会有怎样的表现。

## 来源与参考

1. [ViBench 2.0: A Benchmark for Long-Horizon Software Building](https://replit.com/blog/vibench-2-long-horizon-software-benchmark) – Replit, 2026-10-28

最后更新: 2026-10-28