Исследователи Perplexity и NVIDIA представили JOLT — метод обучения с подкреплением, в котором учитель и ученик работают совместно. После основного этапа обучения одна и та же модель выступает и в роли учителя, и в роли ученика. На тесте MATH JOLT показал такую же точность, как метод GRPO, использовав в 6,5 раза меньше обучающих токенов. Результат демонстрирует, как повысить эффективность, не меняя архитектуру модели.
Почему это важно
Исследователи смогут дообучать модели дешевле, что сделает высококачественные модели для математических рассуждений доступнее лабораториям с ограниченными вычислительными ресурсами.
