# Исследование проверило, могут ли модели решений заменить LLM-судей

> Исследование на arXiv показало, что некоторые модели, выдающие ответ за один проход, не уступают или превосходят отдельных текстовых LLM-судей на тестах оценки. Однако результаты зависят от задачи и модели.

Oossa · 2026-11-03 · https://oossa.com/ru/study-tests-whether-decision-models-can-replace-llm-judges

Дата события: 2026-10-31

Новое исследование на arXiv показало, что некоторые модели, предназначенные для прямой оценки текста, могут не уступать более крупным ИИ-судьям, которые генерируют текст, или превосходить их на распространённых тестах. Такие модели отвечают на вопросы в заданном формате — например, «да» или «нет», выбирают вариант из нескольких или выставляют оценку, — не объясняя свой ответ. В статье их называют моделями «Системы 1» и выясняют, могут ли они оценивать ответы ИИ дешевле, чем такие модели, как GPT-5.6 и Claude Opus 5.5.

Исследователи сравнили 14 моделей решений с четырьмя генеративными судьями на 11 известных бенчмарках. На парных тестах и тестах best-of-4 из исследования пять моделей решений статистически не отличались от GPT-5.6 без режима рассуждений. По данным статьи, две модели — DReX-Max и d1-ultra — показали статистически значимо более высокие результаты, чем Claude Haiku 5.5, на JudgeBench, LLMBar и RewardBench 2.

## Эталонный ответ менял результаты

Эталонный ответ значительно повышал оценки. Если для каждого запроса заранее подготовить такой ответ, 11 моделей решений набирали от 90,3% до 93,4% на JudgeBench. По словам исследователей, статистически эти результаты не отличались от показателей GPT-5.6 с режимом рассуждений и Claude Opus 5.5 в режиме thinking.

В тесте best-of-16 на PPE каждая модель решений, которой предоставили эталонный ответ, сравнялась с GPT-5.6 с режимом рассуждений, обходясь примерно в одну шестнадцатую его стоимости за запрос, сообщает статья. Это сравнение справедливо только при наличии эталонного ответа и не отражает результаты оценки без него. В аннотации не указаны условия доступа к моделям и не приводится разбивка расчёта стоимости.

## У подхода есть ограничения

Результаты оказались неодинаковыми для разных моделей и проблем. Когда исследователи добавили инструкцию в оцениваемый материал, это меняло правильный вердикт в 0–5% случаев у пяти моделей решений и в 17–49% случаев у остальных девяти. Авторы статьи отмечают, что устойчивость к таким инструкциям зависит от конкретной модели, а не просто от того, относится ли она к моделям решений.

В исследовании также сообщается, что результаты на двух рейтингах моделей общего назначения — ни один из них не включает задачи оценки — хорошо предсказывали точность при оценивании. Это может помочь исследователям отобрать модели для дальнейших проверок, но не доказывает, что любая модель хорошо справится с ролью судьи. Это результаты одного исследования на бенчмарках, а не доказательство того, что модели решений могут заменить генеративных судей во всех реальных сценариях.

## Факты

- В исследовании сравнили 14 моделей решений «Системы 1» с четырьмя генеративными судьями на 11 бенчмарках.
- DReX-Max и d1-ultra показали статистически значимо более высокие результаты, чем Claude Haiku 5.5, на JudgeBench, LLMBar и RewardBench 2.
- С эталонным ответом 11 моделей решений набрали на JudgeBench от 90,3% до 93,4%.
- По данным статьи, в тесте best-of-16 на PPE модели решений с эталонным ответом сравнялись с GPT-5.6 с режимом рассуждений, обходясь примерно в одну шестнадцатую его стоимости за запрос.

## Почему это важно

У команд, которые используют ИИ для оценки ответов, сгенерированных ИИ, могут появиться более дешёвые варианты для тестирования — особенно если можно предоставить эталонный ответ. Но исследование выявило большие различия в том, как модели реагируют на внедрённые инструкции, поэтому его результаты не доказывают, что какая-либо одна модель решений станет безопасной и универсальной заменой текстовому ИИ-судье.

## Источники и ссылки

1. [To Jev or Not to Jev: When Can System-1 Decision Models Replace LLM Judges?](https://arxiv.org/abs/2611.00505) – arXiv, 2026-11-03

Обновлено: 2026-11-03