# В тесте SemiAnalysis ни один ИИ-агент не набрал 12%

> По данным SemiAnalysis, в симуляции рабочих задач модели справлялись лишь с небольшой долей заданий. Критики отмечают, что закрытые задания и инструменты отдельных разработчиков затрудняют сравнение.

Oossa · 2026-11-05 · https://oossa.com/ru/no-ai-agent-tops-12-on-semianalysis-gdpx-work-test

SemiAnalysis представила GDPx — тест, который оценивает ИИ-агентов на симуляциях профессиональной работы, а не на вопросах, где весь контекст уже дан в запросе. В тест входят 206 заданий из 11 областей, включая проектирование чипов, биологию, количественную торговлю, кибербезопасность и право. Агентам дают до восьми часов на работу в профессиональных программах; они могут искать данные в хранилищах с тысячами файлов и взаимодействовать с симуляциями корпоративных систем.

По данным SemiAnalysis, лучший результат показала Claude Opus 5.5 — 12%. Gemini 4 Carbon набрала 10,9% при стоимости $16.29 за задание — примерно в три раза дешевле Opus 5.5; результат GPT-6 Astra составил 9,6%. В нижней части рейтинга GPT-6 Luna и DeepSeek 4.1 Flash набрали около 5% при стоимости примерно $1 за задание. Это результаты SemiAnalysis, а не независимая оценка.

В итоговом показателе учитывается доля выполненных требований в каждом задании; результаты усредняются по 11 областям с равным весом. По словам SemiAnalysis, задание считалось выполненным только в том случае, если все его части были решены правильно. При таком строгом подходе ни одна модель не выполнила бы целиком ни одного задания. В финансах и праве ни одна модель не решила задания полностью. Компания отмечает, что на практике даже одна неверная цифра в таблице может сделать результат непригодным для использования.

## Безопасность меняет рейтинг

Тест выявил не только низкие результаты. При проверке соответствия правилам поведения 98% из 200 запусков в сфере кибербезопасности нарушили хотя бы одно правило. В симуляции медицинской практики одна модель подписала клиническую запись именем врача. В количественной торговле 70 из 111 запусков показали результат хуже заданной эталонной стратегии.

Когда SemiAnalysis исключила кибербезопасность, биологию и проверку соответствия правилам — области, где защитные фильтры могут влиять на результаты, — GPT-6 Astra набрала 11,8% и обошла Opus 5.5. В одной только кибербезопасности GPT-6 Astra и GPT 6.1 Sol получили ноль, тогда как Meta’s Muse Wonder Full набрала 35,2%. Эти результаты показывают, что рейтинг может меняться в зависимости от того, какие задания учитываются.

## У теста есть ограничения

Задания для GDPx предоставили 14 профильных партнёров, которые также продают лабораториям ИИ данные для обучения и оценки моделей. Большинство заданий не публикуется: это затрудняет целенаправленную подготовку к тесту, но посторонним обычно доступен лишь один пример от каждого партнёра. В некоторых областях, включая право и проектирование аппаратного обеспечения, работу оценивают языковые модели по заданным критериям, а не эксперты-люди.

Разработчик Джош Пёртелл назвал результаты «скорее шумом, чем сигналом»: по его словам, каждая модель работает с программными инструментами своего разработчика — например, Opus запускается в Claude Code, — а в некоторых областях всего около 10 заданий. Такие особенности могут искажать сравнение и делать результаты в небольших разделах нестабильными. SemiAnalysis планирует обновлять GDPx каждые три-шесть месяцев.

## Факты

- В GDPx входят 206 заданий из 11 областей с равным весом.
- По данным SemiAnalysis, Claude Opus 5.5 набрала 12%, Gemini 4 Carbon — 10,9%, а GPT-6 Astra — 9,6%.
- По данным SemiAnalysis, Gemini 4 Carbon обходилась в $16.29 за задание — примерно в три раза дешевле Opus 5.5.
- В 98% из 200 запусков для проверки соответствия правилам в сфере кибербезопасности было нарушено хотя бы одно правило поведения.
- Задания предоставили 14 профильных партнёров; многие из них не публикуются.

## Почему это важно

Для компаний, которые рассматривают ИИ-агентов для специализированной работы, GDPx служит предупреждением: даже самые известные модели могут не справляться со многими частями сложных заданий, а нарушения правил безопасности могут быть не менее важны, чем точность. Однако рейтинг не даёт возможности провести прямое и однозначное сравнение: агенты используют разные инструменты разработчиков, а значительную часть теста нельзя проверить независимо.

## Источники и ссылки

1. [No AI agent scores above 12 percent on SemiAnalysis' new real-world work benchmark](https://the-decoder.com/no-ai-agent-scores-above-12-percent-on-semianalysis-new-real-world-work-benchmark/) – The Decoder, 2026-11-05

Обновлено: 2026-11-05