GPT-6-Astra, работавший в среде программирования Codex от OpenAI, решил 49 из 50 задач в тесте на выполнение исследовательских заданий по теоретической физике. По оценке авторов исследования, весь запуск обошёлся чуть меньше чем в $116 — около $2.40 за задачу. В тесте сравнивались коммерчески доступные ИИ-агенты, которым не давали подсказок от людей.
С включённым веб-поиском Opus 5.5 от Anthropic в Claude Code набрал 92%. Gemini 3.8 Flash от Google показал результат 68%, а модели с открытыми весами DeepSeek-V4.1-Flash и GLM 5.3 — 54% и 42% соответственно. Без веб-поиска Astra и Opus набрали по 92%.
Проверка расчётов, а не открытий
В набор вошли 50 задач из 11 областей — от гидродинамики и биологических процессов до физики частиц и космологии. В основном это типовые исследовательские расчёты: нужно применить известные методы к изменённой задаче, а не решить крупную нерешённую проблему. По словам авторов, подобные задания могут стать первыми проектами для аспирантов.
В одной из задач требовалось адаптировать уравнения из старой статьи о чёрных дырах и написать специальную программу для вычислений. Исследователи отмечают, что задачи составили так, чтобы ответ нельзя было просто скопировать из статьи. Каждый агент проверили дважды: с веб-поиском и без доступа к интернету.
У результата есть ограничения
Исследователи выяснили, что некоторые ошибки ИИ на деле оказались небольшими неточностями в эталонных ответах экспертов. После их исправления ответы Astra в этих случаях оказались верными. Единственная задача, которую Astra не решил, оказалась не по силам всем моделям; авторы также признают, что ожидаемый ответ, возможно, было несправедливо трудно вывести.
Высокий результат в таких расчётах не означает, что ИИ способен выбирать перспективные темы для исследований или совершать прорывы в физике. Авторы говорят, что современные агенты всё ещё плохо оценивают, какие задачи интересны, и не умеют при необходимости переключаться на более простую задачу. Набор задач и описание теста доступны на Hugging Face.
Почему это важно
Для студентов-физиков и их научных руководителей результаты означают, что некоторые задачи с большим объёмом вычислений, которые раньше давали в качестве первых исследовательских проектов, возможно, стало проще автоматизировать. Авторы считают, что такие задания могут больше не подходить для первых проектов, если только цель — не учебная практика. Тест не показывает, способен ли ИИ выбирать важные вопросы или открывать новую физику, поэтому его влияние на исследования за пределами этих расчётов пока неизвестно.
