В диссертации Манчестерского университета представлен метод Visual Causal-chain Bookmarking (VCBM), который помогает агентам с обучением с подкреплением определять, какие действия привели к отсроченной награде. В симуляции ремонта часов метод обеспечил 95.07% правильных решений в среднем за 1,532.3 эпизода по итогам 20 запусков. Базовому методу RUDDER для этого потребовалось 3,327.1 эпизода. В AppWorld обучение с применением VCBM повысило долю успешно выполненных задач с 0.354 до 0.458. Однако для каждого метода провели лишь по одному запуску, поэтому эти данные не подтверждают статистическую значимость результата.
Почему это важно
Для исследователей, обучающих агентов выполнять задачи с отсроченными наградами, VCBM предлагает проверенный способ выделять решения, которые сильнее влияют на результат. Однако, чтобы оценить надёжность результатов в AppWorld, нужны дополнительные запуски.
