# ViBench 2.0 проверяет, может ли ИИ создать полноценный продукт

> Бенчмарк предлагает ИИ-агентам поэтапно разрабатывать продукты, добавляя функции одну за другой. Даже лучшие модели проходили все тесты лишь в 49–65% сборок.

Oossa · 2026-10-28 · https://oossa.com/ru/replit-s-vibench-2-0-tests-whether-ai-can-build-full-products

Replit представила ViBench 2.0 — бенчмарк, который проверяет, способны ли ИИ-агенты для программирования с нуля создать программный продукт и поддерживать его работу по мере добавления новых функций. В отличие от тестов, где агенту дают конкретное задание в уже существующем коде, ViBench начинает с пустого проекта и предлагает разработать продукты по образцу Uber, GitHub и Google Docs.

Бенчмарк включает 17 продуктов, 241 запрос на добавление функций и 544 плана тестирования. В официальном тестировании, проведенном партнером Replit компанией Fireworks, лидирующие модели — GPT-6.1 Sol, GPT-6 Astra и Opus 5.5 — проходили все планы тестирования соответственно в 65%, 60% и 49% сборок. Сборка засчитывается как успешная, только если она проходит все планы для данного продукта.

## Как работает ViBench

Сначала агент создает продукт по краткому описанию, а затем добавляет к собственному коду до 18 функций. Такая последовательность может выявить проблемы, незаметные при выполнении разового задания: ранние решения о данных или структуре программы могут затруднить реализацию последующих запросов. Тесты проверяют, например, корректность разделения платы за поездку вплоть до цента, защиту от повторного возврата денег и то, не перезаписывает ли старая версия редактора более свежие изменения коллеги.

В конце проверяющий агент использует настоящий браузер, чтобы выполнить каждый план тестирования. Replit сообщает, что выбрала для проверки Opus 5.5: среди протестированных моделей он допускал меньше всего ошибок. В проверке с 34 специально добавленными ошибками агент ни разу не засчитал план, если ошибка была видна; GPT-6.1 Sol подтвердил 99,2% из 477 проверенных им успешных результатов.

Восемь продуктов, включая запросы и планы тестирования для них, опубликованы на GitHub; остальные девять пока не раскрываются. По словам Replit, результаты можно повторно получить одной командой, используя выпуск v2.0.6 и основанную на OpenHands систему тестирования.

## Что показывают результаты

В официальном сравнении для каждой модели провели по четыре сборки каждого продукта с одинаковой тестовой системой и настройками: средним уровнем усилий и температурой 1.0. DeepSeek V4.1 Flash прошла 77% планов тестирования при стоимости около $2.50 за сборку, однако ни одна модель с открытыми весами не прошла все планы в рамках полной сборки. Стоимость GPT-6.1 Sol составила около $12 за сборку, а GPT-6 Astra — около $90. В среднем Opus 5.5 завершала сборку примерно за 70 минут — приблизительно в 2.5 раза быстрее Sol.

Лучшие модели часто справлялись с большинством отдельных тестов, но все же не проходили сборку целиком. По данным Replit, почти три четверти неудачных сборок проваливались из-за взаимодействия функций. Например, отмена действия затрагивала правки коллеги в инструменте для дизайна, а в черновике запроса на слияние не отображался конфликт. Бенчмарк не оценивает визуальный дизайн; Replit отмечает, что внешне привлекательные сборки проходили тесты не чаще, чем более простые.

## Факты

- ViBench 2.0 охватывает 17 продуктов, 241 запрос на добавление функций и 544 плана тестирования.
- В официальных результатах Fireworks показатель pass@1 для GPT-6.1 Sol составил 65%, для GPT-6 Astra — 60%, для Opus 5.5 — 49%.
- DeepSeek V4.1 Flash прошла 77% планов тестирования при расчетной стоимости около $2.50 за сборку, но ни одна модель с открытыми весами не прошла полную сборку.
- Восемь из 17 продуктов и планы тестирования для них опубликованы на GitHub.

## Почему это важно

Для команд, которые рассматривают ИИ-агентов для программирования, ViBench показывает: успешное выполнение отдельных задач не гарантирует, что продукт продолжит работать по мере добавления функций. Большинство неудач лучших моделей было связано с тем, что функции взаимодействовали друг с другом. Результаты помогут выявить такую слабость, но не позволяют судить о том, как модели справятся с программным обеспечением или процессом разработки конкретной компании.

## Источники и ссылки

1. [ViBench 2.0: A Benchmark for Long-Horizon Software Building](https://replit.com/blog/vibench-2-long-horizon-software-benchmark) – Replit, 2026-10-28

Обновлено: 2026-10-28