Исследователи предлагают Self-Assessment Reinforcement Learning (SARL) — метод обучения языковых моделей, которые ищут информацию перед тем, как ответить. Модель учится отслеживать, что уже найдено, а чего всё ещё не хватает. Цель — сократить число ошибочных рассуждений и случаев, когда поиск прекращается слишком рано.
По словам авторов, SARL обеспечил относительный прирост в 24.3% по сравнению с их самым сильным базовым методом. Средний прирост составил 35.9% в тестах на многошаговые рассуждения и 27.9% в тестах на углублённый поиск — относительно сильнейших базовых методов для этих задач. Авторы утверждают, что при подготовке ответа SARL не требует дополнительной оценки. В аннотации статьи не названы протестированные модели и недостаточно подробностей, чтобы оценить, насколько результаты применимы к поисковым инструментам, доступным пользователям.
Почему это важно
Для команд, создающих исследовательских помощников, SARL показывает, что отслеживанию хода поиска можно обучить модель, а не добавлять для этого отдельный этап во время работы. Однако аннотация не подтверждает, что метод улучшит реальные продукты.
