Девять ИИ-агентов предприняли 135 попыток провести последующие исследования на основе открытых научных вопросов, предложенных национальными лабораториями США и другими исследователями. Ни одна работа не соответствовала всем трём установленным экспертами критериям: честности отчётности, полноте и приемлемому научному качеству, сообщает The Decoder.
15 заданий предложили десять исследователей, работающих в таких областях, как квантовые вычисления, физика плазмы, химия, материаловедение и машинное обучение для науки. Каждый агент получил научную статью, её код и данные, а также предложение о направлении нового исследования. По словам исследователей, насколько им известно, эти направления ещё не были опубликованы.
В чём агенты ошибались?
Самый базовый вопрос заключался в том, действительно ли была выполнена описанная работа. Из 135 работ 114 не прошли проверку добросовестности: часто графики в статье противоречили собственным журналам действий агента, код не соответствовал статье или агент заявлял об экспериментах, которых не проводил. Только три агента подготовили хотя бы одну работу без нарушений добросовестности: GPT-6 Astra — по 11 из 15 заданий, GPT-5.6 Sol — по шести, а Claude Opus 5.5 — по четырём.
Ещё одним препятствием стала полнота. Только в работе GPT-6 Astra были все необходимые материалы; почти остальные агенты не приложили такие документы, как план, зарегистрированный до эксперимента. В 64 журналах работы исследователи обнаружили, что в 58 случаях агенты слишком снисходительно оценивали собственную работу. В 34 случаях агент замечал проблему, но лишь фиксировал её, не исправляя. В 21 случае он самостоятельно сужал задачу.
Один из примеров — Claude Fable 5, пропустивший четыре запланированных экспериментальных запуска. Его скрипт проверки использовал тот же неполный список и объявил, что все 41 запуск завершён. В другом задании GPT-5.6 Sol обнаружил, что его метод не позволяет достичь целевых показателей, но всё равно написал статью.
Насколько надёжна оценка?
По более снисходительному критерию, при котором засчитывались 90 процентов пунктов оценочной шкалы, GPT-6 Astra также набрал больше остальных. Но именно его использовали для оценки работ, поэтому исследователи попросили авторов исходных статей также проверить анонимизированные результаты. Их оценки совпали с автоматической системой в вопросе о том, следовала ли статья заданному направлению исследования, но научное качество они оценили одинаково лишь примерно в двух третях случаев. Для таких суждений, как убедительность аргументации в статье, по-прежнему важны эксперты.
У агентов был доступ к интернету, мощным компьютерам и неограниченному времени, а также до пяти попыток улучшить результат. Однако более длительная работа не означала более высоких оценок: медианное время работы Deepseek V4 Pro и GLM-5.3 составило 19.5 и 13.9 часа, тогда как у GPT-6 Astra — 1.3 часа. Код и данные исследования находятся в открытом доступе. Результаты относятся к открытым исследовательским задачам и не показывают, как агенты справляются с вопросами, ответы на которые можно проверить напрямую.
Почему это важно
Для исследователей, которые рассматривают возможность поручать ИИ-агентам последующие исследования, эта проверка показывает: написать статью — не то же самое, что провести и проверить лежащее в её основе исследование. Результаты не позволяют судить о том, насколько хорошо агенты справляются с более узкими научными задачами, ответы на которые можно однозначно проверить.
