Исследователи из Alibaba и нескольких азиатских университетов представили Co‑Design Bench — тест, в котором ИИ-агентам нужно дорабатывать работающие веб-приложения по реальным запросам пользователей. В тест входят мультимодальные материалы: изображения, аудиозаписи, видео и документы — то есть данные, с которыми разработчики имеют дело на практике. Оценили десять моделей, от GPT‑6 Astra в стиле OpenAI до Claude Opus 5 и Qwen 3.8‑Max.
Лучше всех выступила GPT‑6 Astra: в среднем она выполняла около 70 % требований каждой задачи. Но полностью корректное приложение модель создала лишь в 26.4 % случаев. В большинстве задач ИИ справлялся с основной частью работы, но оставлял незавершённой хотя бы одну деталь — поэтому перед выпуском кода человеку всё ещё приходится его дорабатывать.
В старых тестах, например WebCompass‑edit, те же модели набирают почти максимальные баллы, однако Co‑Design Bench показывает разрыв более чем в 35 процентных пунктов. По словам исследователей, старые тесты стали слишком простыми: агенты могут многократно запускать и проверять свой код, а затем исправлять его, что завышает результат.
Результаты резко ухудшались, когда в одной задаче сочетались три или четыре типа изменений: вёрстка, дизайн, взаимодействие и контент. С трудностями сталкивались все модели, в том числе более компактная Qwen 3.8‑27B. Даже увеличение вычислительных ресурсов мало помогало: на простых изменениях GLM‑5.2 использовала в шесть раз больше токенов, чем GPT‑6 Astra, но всё равно набрала меньше баллов.
Что показал тест
Исследование показывает, что обвязка ИИ-агента — программа, которая подаёт ему код и запускает результат, — может влиять на оценки не меньше, чем сама модель. На крупных доработках одна и та же модель набрала 75 % в одной среде и 56 % в другой. Авторы советуют компаниям оценивать модель и обвязку в связке, прежде чем внедрять инструмент.
Авторы также отмечают ограничения исследования: для каждой задачи задан один фиксированный запрос, поэтому уточняющие вопросы не проверяются; кроме того, ИИ-системы, оценивающие приложения, могут ошибаться. В более раннем исследовании METR выяснилось, что доля кода, созданного ИИ и принятого в реальной работе, была примерно на 24 % ниже результатов популярных бенчмарков вроде SWE‑bench Verified.
Почему это важно
Разработчикам, которые рассматривают ИИ-помощников для программирования, стоит учитывать: перед выпуском ПО им по-прежнему придётся проверять и исправлять большинство изменений. Компаниям нужно тестировать и модель, и среду её интеграции, а не полагаться на оценки бенчмарков, которые могут завышать реальные результаты.
