Oossa

Исследователи OpenAI полагаются на кодовых агентов, несмотря на их ограничения

OpenAI сообщает, что исследователи стали гораздо чаще использовать кодовых агентов. Те хорошо справляются с рутинными задачами, но по-прежнему требуют тщательного контроля со стороны человека.

Автор: Опубликовано Oossa: 3 мин чтения

Mohammad Rahmani · Unsplash

По данным OpenAI, исследователи стали активнее пользоваться кодовыми агентами, хотя те пока с трудом справляются со сложными инженерными задачами и выдают код, который нужно тщательно проверять. В октябре медианный объём использования внутренних инструментов, таких как Codex и Dots, соответствовал $2,400 в день при расчёте по стандартным публичным ценам API — на 62 percent больше, чем в сентябре. У 10 percent самых активных пользователей этот показатель достигал $23,000 в день.

Эти цифры показывают, сколько такое использование стоило бы по публичным тарифам; это не реальные денежные выплаты и не фактические зарплаты исследователей. По данным OpenAI, в пересчёте агенты работали по 5.7 восьмичасового рабочего дня на одного исследователя за календарный день, а в командах, занимающихся предварительным и последующим обучением, — примерно по восемь дней. В периоды пикового использования более двух третей исследователей, за которыми велось наблюдение, запускали одновременно не менее четырёх агентов. Сравнивая расходы на агентов с затратами на зарплаты, компания использовала данные за сентябрь и не учитывала акции: по оценке OpenAI, на них приходится 70 to 80 percent общего вознаграждения сотрудников. Использование агентов составляло 2 percent от общего объёма вычислений компании для исследований.

Агенты лучше справляются с рутинными задачами

По данным OpenAI, доля автономных агентов, выполняющих задачи длительностью от двух до четырёх часов без вмешательства человека, выросла с 23 percent в марте до 46 percent в октябре. Для задач длительностью от четырёх до восьми часов доля успешного выполнения, по данным компании, увеличилась с 13 до 35 percent. Результаты сильно различаются в зависимости от задачи: агенты в 79 percent случаев успешно следили за ходом обучающих запусков и в 72 percent случаев отвечали на технические вопросы. Однако при создании сред для оценки моделей или обучения с подкреплением они справлялись лишь в 29 percent случаев, а при написании кода для систем инференса и обслуживания моделей — в 25 percent.

Компания также отмечает высокий интерес сотрудников к этим инструментам, оговаривая, что опросы не дают репрезентативной картины. В ходе внутреннего опроса 101 сотрудника, не претендующего на репрезентативность, медианный респондент ответил, что скорее предпочёл бы потерять 40 percent сотрудников своей команды или 30 percent её вычислительных мощностей, чем на три месяца лишиться доступа к нынешним кодовым агентам. В отдельном экспресс-опросе 28 сотрудников 27 человек предпочли последнюю внутреннюю модель инженеру с опытом на уровне середины карьеры. Эти ответы говорят об энтузиазме опрошенных сотрудников, а не служат общей оценкой эффективности агентов.

Роль человеческого суждения остаётся важной

Интервью с десятью исследователями OpenAI выявили сохраняющуюся слабость: агентам не хватает того, что собеседники назвали «чутьём» на перспективные исследовательские идеи, хороший код и качественные данные. Они могут делать неверные предположения, предпринимать ненужные шаги и создавать изменения в коде или данные, которые исследователи не могут использовать. По словам исследователей, необходим тщательный контроль, чтобы не тратить вычислительные ресурсы впустую. Команды, занимающиеся последующим обучением и безопасностью, сообщили, что ключевые идеи для GPT-6 Astra и GPT-6.2 Astra предложили люди. Некоторые исследователи, работающие над предварительным обучением, сказали, что Codex помог им прийти к важным выводам при работе над GPT-6.2 Astra.

OpenAI представляет эти цифры как свидетельство ускорения исследований и возможного рекурсивного самосовершенствования, при котором ИИ помогает создавать последующие системы ИИ. Однако компания предупреждает, что нынешние результаты могут не масштабироваться линейно. Издание The Decoder также отмечает, что METR оценивала ускорение разработки в Anthropic почти вдвое за время 11-недельного наблюдения за использованием ИИ; это оценка другой организации, а не прямое сравнение с OpenAI. В начале сентября OpenAI заявила, что достигла собственной цели по созданию автоматизированного ИИ-стажёра-исследователя, а главный научный сотрудник компании Якуб Пахоцки предупредил о пробелах в контроле и надзоре.

Почему это важно

Тем, кто следит за тем, как устроены исследования в области ИИ, цифры OpenAI показывают, что кодовые агенты могут брать на себя часть рутинной работы и что исследователи компании ценят доступ к ним. Но неудачи при решении сложных инженерных задач и рассказы исследователей о непригодных к использованию результатах не позволяют сделать вывод, что агенты способны заменить исследовательское суждение или самостоятельно выполнять весь процесс.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.