# VCBM让强化学习训练聚焦于影响奖励的决策

> 曼彻斯特大学的一篇学位论文测试了一种方法，旨在让影响结果的行动获得更多关注；该方法在两种不同场景中取得了积极结果。

Oossa · 2026-10-20 · https://oossa.com/zh/vcbm-focuses-rl-training-on-decisions-tied-to-rewards

曼彻斯特大学的一篇学位论文介绍了视觉因果链标记法（VCBM），帮助强化学习智能体识别哪些行动带来了延迟奖励。在一项修理手表的模拟实验中，VCBM经过平均1,532.3轮训练后，正确决策率达到95.07%；这一数据来自20次运行。作为对照，RUDDER基线方法平均需要3,327.1轮。在AppWorld中，采用VCBM混合训练后，任务成功率从0.354升至0.458。不过，这项对比中每种方法都只运行了一次，因此尚不能视为统计学上的验证。

## 事实

- 手表维修实验使用了20个随机种子；VCBM在所有实验中都匹配了已知的因果结构。
- AppWorld对比实验使用了Qwen2.5-7B-Instruct，每种方法各使用一个随机种子。

## 为什么重要

对于训练智能体完成延迟奖励任务的研究人员，VCBM提供了一种经过测试的方法，可让训练更重视影响结果的决策；不过，AppWorld实验仍需更多次运行，才能确认结果是否可靠。

## 来源与参考

1. [Visual Causal-chain Bookmarking: Retrieval-Weighted Credit Assignment for Reinforcement Learning from Delayed Reward](https://arxiv.org/abs/2610.24032) – arXiv cs.LG, 2026-10-20

最后更新: 2026-10-20