Replit представила ViBench 2.0 — бенчмарк, который проверяет, способны ли ИИ-агенты для программирования с нуля создать программный продукт и поддерживать его работу по мере добавления новых функций. В отличие от тестов, где агенту дают конкретное задание в уже существующем коде, ViBench начинает с пустого проекта и предлагает разработать продукты по образцу Uber, GitHub и Google Docs.
Бенчмарк включает 17 продуктов, 241 запрос на добавление функций и 544 плана тестирования. В официальном тестировании, проведенном партнером Replit компанией Fireworks, лидирующие модели — GPT-6.1 Sol, GPT-6 Astra и Opus 5.5 — проходили все планы тестирования соответственно в 65%, 60% и 49% сборок. Сборка засчитывается как успешная, только если она проходит все планы для данного продукта.
Как работает ViBench
Сначала агент создает продукт по краткому описанию, а затем добавляет к собственному коду до 18 функций. Такая последовательность может выявить проблемы, незаметные при выполнении разового задания: ранние решения о данных или структуре программы могут затруднить реализацию последующих запросов. Тесты проверяют, например, корректность разделения платы за поездку вплоть до цента, защиту от повторного возврата денег и то, не перезаписывает ли старая версия редактора более свежие изменения коллеги.
В конце проверяющий агент использует настоящий браузер, чтобы выполнить каждый план тестирования. Replit сообщает, что выбрала для проверки Opus 5.5: среди протестированных моделей он допускал меньше всего ошибок. В проверке с 34 специально добавленными ошибками агент ни разу не засчитал план, если ошибка была видна; GPT-6.1 Sol подтвердил 99,2% из 477 проверенных им успешных результатов.
Восемь продуктов, включая запросы и планы тестирования для них, опубликованы на GitHub; остальные девять пока не раскрываются. По словам Replit, результаты можно повторно получить одной командой, используя выпуск v2.0.6 и основанную на OpenHands систему тестирования.
Что показывают результаты
В официальном сравнении для каждой модели провели по четыре сборки каждого продукта с одинаковой тестовой системой и настройками: средним уровнем усилий и температурой 1.0. DeepSeek V4.1 Flash прошла 77% планов тестирования при стоимости около $2.50 за сборку, однако ни одна модель с открытыми весами не прошла все планы в рамках полной сборки. Стоимость GPT-6.1 Sol составила около $12 за сборку, а GPT-6 Astra — около $90. В среднем Opus 5.5 завершала сборку примерно за 70 минут — приблизительно в 2.5 раза быстрее Sol.
Лучшие модели часто справлялись с большинством отдельных тестов, но все же не проходили сборку целиком. По данным Replit, почти три четверти неудачных сборок проваливались из-за взаимодействия функций. Например, отмена действия затрагивала правки коллеги в инструменте для дизайна, а в черновике запроса на слияние не отображался конфликт. Бенчмарк не оценивает визуальный дизайн; Replit отмечает, что внешне привлекательные сборки проходили тесты не чаще, чем более простые.
Почему это важно
Для команд, которые рассматривают ИИ-агентов для программирования, ViBench показывает: успешное выполнение отдельных задач не гарантирует, что продукт продолжит работать по мере добавления функций. Большинство неудач лучших моделей было связано с тем, что функции взаимодействовали друг с другом. Результаты помогут выявить такую слабость, но не позволяют судить о том, как модели справятся с программным обеспечением или процессом разработки конкретной компании.
