Исследователи Зонгъе Лю и его коллеги изучили обучение с подкреплением на проверяемых вознаграждениях (RLVR). Они сравнили базовую модель с 7 миллиардами параметров и её версию, обученную с помощью RL, на четырёх опубликованных парах моделей. Используя собственный извлекатель, который ищет ответы внутри тега \boxed{}, исследователи обнаружили, что 82% заявленного общедоступными извлекателями прироста на тестах с вопросами из нескольких вариантов ответа, не входивших в обучающую выборку, исчезают. В основном модель просто стала помещать ответ в рамку, а не отвечать лучше.
Почему это важно
Исследование показывает, что заявленный рост эффективности RLVR может быть следствием способа извлечения ответов, а не реального улучшения способности рассуждать.
