В новой статье на arXiv представлен SkillNEO — метод улучшения многоразовых инструкций, или навыков, которым следуют ИИ-агенты при выполнении задач. По данным авторов, средняя награда GPT-5.4 Mini выросла с 49,1% до 66,4% на 86 заданиях SkillsBench в восьми областях, включая разработку ПО и офисную работу.
Метод решает проблему подхода, при котором сохраняют только версию навыка с наивысшей оценкой: версия с более низким результатом всё же может содержать полезное исправление, которому нужны дополнительные правки, чтобы дать эффект. SkillNEO отдельно выбирает, какую версию использовать, а какие продолжать дорабатывать. Сравнивая связанные версии на одной и той же задаче, метод выявляет удачные шаги и ошибки, которые ещё предстоит исправить. Кроме того, он может вернуться к более ранней версии и доработать её с учётом данных, полученных позднее.
Зачем сохранять менее успешную версию?
В исследовании GPT-5.4 Mini выполняла задачи, предлагала изменения и редактировала навыки. Авторы оценивали итоговые результаты на тех же экземплярах задач, что использовались при развитии навыков, а не проводили отдельную проверку на новых задачах. По их данным, улучшения были во всех восьми областях. Итоговая оценка оказалась в диапазоне результатов, ранее опубликованных для исходных навыков с GPT-5.5 и GPT-5.6 Luna.
Авторы также проверили изменённые навыки на более мощных моделях, не внося в них дополнительных правок. На 41 задаче повторное использование изменённых навыков повысило результат Luna на 10,5 процентного пункта. GPT-5.5 показала результат на 10,6 пункта выше опубликованного ориентира для исходных навыков. В статье отмечается, что некоторые версии, получавшие более низкие оценки в ходе разработки, в итоге выбирались для использования.
О чём говорят результаты — и о чём не говорят
Результаты позволяют предположить, что попытки менее мощной модели могут помочь создать полезные инструкции для более сильного агента, даже если сама меньшая модель упускает некоторые требования задачи. Однако оценка охватывает конкретный набор из 86 тестовых заданий, а при итоговой проверке повторно использовались экземпляры задач, задействованные при разработке навыков. Поэтому статья не доказывает, насколько хорошо метод работает на незнакомых задачах. В предоставленном кратком изложении статьи нет сведений о стоимости моделей или условиях доступа к ним.
Почему это важно
Для команд, создающих ИИ-агентов под конкретные задачи, результаты показывают, что более дешёвая или менее мощная модель может помочь доработать многоразовые инструкции, которые затем использует более сильная модель. Заявленные улучшения относятся только к проверенным тестовым заданиям, поэтому неизвестно, сохранятся ли они на новых задачах.
