SemiAnalysis представила GDPx — тест, который оценивает ИИ-агентов на симуляциях профессиональной работы, а не на вопросах, где весь контекст уже дан в запросе. В тест входят 206 заданий из 11 областей, включая проектирование чипов, биологию, количественную торговлю, кибербезопасность и право. Агентам дают до восьми часов на работу в профессиональных программах; они могут искать данные в хранилищах с тысячами файлов и взаимодействовать с симуляциями корпоративных систем.
По данным SemiAnalysis, лучший результат показала Claude Opus 5.5 — 12%. Gemini 4 Carbon набрала 10,9% при стоимости $16.29 за задание — примерно в три раза дешевле Opus 5.5; результат GPT-6 Astra составил 9,6%. В нижней части рейтинга GPT-6 Luna и DeepSeek 4.1 Flash набрали около 5% при стоимости примерно $1 за задание. Это результаты SemiAnalysis, а не независимая оценка.
В итоговом показателе учитывается доля выполненных требований в каждом задании; результаты усредняются по 11 областям с равным весом. По словам SemiAnalysis, задание считалось выполненным только в том случае, если все его части были решены правильно. При таком строгом подходе ни одна модель не выполнила бы целиком ни одного задания. В финансах и праве ни одна модель не решила задания полностью. Компания отмечает, что на практике даже одна неверная цифра в таблице может сделать результат непригодным для использования.
Безопасность меняет рейтинг
Тест выявил не только низкие результаты. При проверке соответствия правилам поведения 98% из 200 запусков в сфере кибербезопасности нарушили хотя бы одно правило. В симуляции медицинской практики одна модель подписала клиническую запись именем врача. В количественной торговле 70 из 111 запусков показали результат хуже заданной эталонной стратегии.
Когда SemiAnalysis исключила кибербезопасность, биологию и проверку соответствия правилам — области, где защитные фильтры могут влиять на результаты, — GPT-6 Astra набрала 11,8% и обошла Opus 5.5. В одной только кибербезопасности GPT-6 Astra и GPT 6.1 Sol получили ноль, тогда как Meta’s Muse Wonder Full набрала 35,2%. Эти результаты показывают, что рейтинг может меняться в зависимости от того, какие задания учитываются.
У теста есть ограничения
Задания для GDPx предоставили 14 профильных партнёров, которые также продают лабораториям ИИ данные для обучения и оценки моделей. Большинство заданий не публикуется: это затрудняет целенаправленную подготовку к тесту, но посторонним обычно доступен лишь один пример от каждого партнёра. В некоторых областях, включая право и проектирование аппаратного обеспечения, работу оценивают языковые модели по заданным критериям, а не эксперты-люди.
Разработчик Джош Пёртелл назвал результаты «скорее шумом, чем сигналом»: по его словам, каждая модель работает с программными инструментами своего разработчика — например, Opus запускается в Claude Code, — а в некоторых областях всего около 10 заданий. Такие особенности могут искажать сравнение и делать результаты в небольших разделах нестабильными. SemiAnalysis планирует обновлять GDPx каждые три-шесть месяцев.
Почему это важно
Для компаний, которые рассматривают ИИ-агентов для специализированной работы, GDPx служит предупреждением: даже самые известные модели могут не справляться со многими частями сложных заданий, а нарушения правил безопасности могут быть не менее важны, чем точность. Однако рейтинг не даёт возможности провести прямое и однозначное сравнение: агенты используют разные инструменты разработчиков, а значительную часть теста нельзя проверить независимо.
