# VCBM помогает обучать агента на действиях, ведущих к награде

> В диссертации Манчестерского университета проверили метод, который помогает точнее выделять значимые действия. Результаты в двух разных сценариях оказались многообещающими.

Oossa · 2026-10-20 · https://oossa.com/ru/vcbm-focuses-rl-training-on-decisions-tied-to-rewards

В диссертации Манчестерского университета представлен метод Visual Causal-chain Bookmarking (VCBM), который помогает агентам с обучением с подкреплением определять, какие действия привели к отсроченной награде. В симуляции ремонта часов метод обеспечил 95.07% правильных решений в среднем за 1,532.3 эпизода по итогам 20 запусков. Базовому методу RUDDER для этого потребовалось 3,327.1 эпизода. В AppWorld обучение с применением VCBM повысило долю успешно выполненных задач с 0.354 до 0.458. Однако для каждого метода провели лишь по одному запуску, поэтому эти данные не подтверждают статистическую значимость результата.

## Факты

- В эксперименте с ремонтом часов использовали 20 случайных начальных значений; во всех случаях VCBM определил известную причинно-следственную структуру.
- В сравнении в AppWorld использовали Qwen2.5-7B-Instruct и по одному случайному начальному значению для каждого метода.

## Почему это важно

Для исследователей, обучающих агентов выполнять задачи с отсроченными наградами, VCBM предлагает проверенный способ выделять решения, которые сильнее влияют на результат. Однако, чтобы оценить надёжность результатов в AppWorld, нужны дополнительные запуски.

## Источники и ссылки

1. [Visual Causal-chain Bookmarking: Retrieval-Weighted Credit Assignment for Reinforcement Learning from Delayed Reward](https://arxiv.org/abs/2610.24032) – arXiv cs.LG, 2026-10-20

Обновлено: 2026-10-20