Новое исследование на arXiv показало, что некоторые модели, предназначенные для прямой оценки текста, могут не уступать более крупным ИИ-судьям, которые генерируют текст, или превосходить их на распространённых тестах. Такие модели отвечают на вопросы в заданном формате — например, «да» или «нет», выбирают вариант из нескольких или выставляют оценку, — не объясняя свой ответ. В статье их называют моделями «Системы 1» и выясняют, могут ли они оценивать ответы ИИ дешевле, чем такие модели, как GPT-5.6 и Claude Opus 5.5.
Исследователи сравнили 14 моделей решений с четырьмя генеративными судьями на 11 известных бенчмарках. На парных тестах и тестах best-of-4 из исследования пять моделей решений статистически не отличались от GPT-5.6 без режима рассуждений. По данным статьи, две модели — DReX-Max и d1-ultra — показали статистически значимо более высокие результаты, чем Claude Haiku 5.5, на JudgeBench, LLMBar и RewardBench 2.
Эталонный ответ менял результаты
Эталонный ответ значительно повышал оценки. Если для каждого запроса заранее подготовить такой ответ, 11 моделей решений набирали от 90,3% до 93,4% на JudgeBench. По словам исследователей, статистически эти результаты не отличались от показателей GPT-5.6 с режимом рассуждений и Claude Opus 5.5 в режиме thinking.
В тесте best-of-16 на PPE каждая модель решений, которой предоставили эталонный ответ, сравнялась с GPT-5.6 с режимом рассуждений, обходясь примерно в одну шестнадцатую его стоимости за запрос, сообщает статья. Это сравнение справедливо только при наличии эталонного ответа и не отражает результаты оценки без него. В аннотации не указаны условия доступа к моделям и не приводится разбивка расчёта стоимости.
У подхода есть ограничения
Результаты оказались неодинаковыми для разных моделей и проблем. Когда исследователи добавили инструкцию в оцениваемый материал, это меняло правильный вердикт в 0–5% случаев у пяти моделей решений и в 17–49% случаев у остальных девяти. Авторы статьи отмечают, что устойчивость к таким инструкциям зависит от конкретной модели, а не просто от того, относится ли она к моделям решений.
В исследовании также сообщается, что результаты на двух рейтингах моделей общего назначения — ни один из них не включает задачи оценки — хорошо предсказывали точность при оценивании. Это может помочь исследователям отобрать модели для дальнейших проверок, но не доказывает, что любая модель хорошо справится с ролью судьи. Это результаты одного исследования на бенчмарках, а не доказательство того, что модели решений могут заменить генеративных судей во всех реальных сценариях.
Почему это важно
У команд, которые используют ИИ для оценки ответов, сгенерированных ИИ, могут появиться более дешёвые варианты для тестирования — особенно если можно предоставить эталонный ответ. Но исследование выявило большие различия в том, как модели реагируют на внедрённые инструкции, поэтому его результаты не доказывают, что какая-либо одна модель решений станет безопасной и универсальной заменой текстовому ИИ-судье.
