Oossa

GameSmith расширяет обучение LLM на играх с нулевой суммой

Новый конвейер создает сотни синтетических игр для двух игроков и помогает модели с 4 млрд параметров повысить оценку за рассуждения с 45,5 до 62,5.

ЗаметкаАвтор: Опубликовано Oossa: 1 мин чтения

Исследователи под руководством Уэйлона Ли представили GameSmith — систему, которая создает множество игр с нулевой суммой для двух игроков на основе фиксированных шаблонов. Каждую игру проверяют повторным воспроизведением и с помощью отдельной реализации: в результате получено 26 новых игр в 29 семействах и 336 проверенных вариантов. Более крупная модель-учитель Qwen3‑32B играет сама с собой в эти игры, а затем полученные знания дистиллируют в меньшую модель Qwen3‑4B‑Base. В наборе из 13 тестов средний показатель pass@1 дистиллированной модели вырос с 45,5 до 62,5, а дальнейшая самостоятельная игра с оценщиком CRAB позволила достичь 64,9.

Почему это важно

Этот результат показывает, что языковые модели меньшего размера могут лучше рассуждать, если обучать их на более разнообразных синтетических играх.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.