# VCBM、報酬につながる判断に強化学習を集中

> マンチェスター大学の学位論文で、結果を左右する行動を重視する手法を検証。異なる2つの環境で有望な結果が得られた。

Oossa · 2026-10-20 · https://oossa.com/ja/vcbm-focuses-rl-training-on-decisions-tied-to-rewards

マンチェスター大学の学位論文は、強化学習エージェントが遅れて得られる報酬に結びついた行動を学べるよう支援する手法「Visual Causal-chain Bookmarking（VCBM）」を紹介している。時計修理のシミュレーションでは、20回の実行で平均1,532.3エピソード後に正しい判断の割合が95.07%に達した。ベースラインのRUDDERでは、同じ水準に到達するまで3,327.1エピソードを要した。AppWorldでは、VCBMを組み込んだ学習によりタスク成功率が0.354から0.458に上昇した。ただし、この比較は各手法につき1回しか実行しておらず、統計的に確認された結果ではない。

## 事実

- 時計修理の実験では20個のシードを使い、VCBMはすべてのシードで既知の因果構造と一致した。
- AppWorldの比較ではQwen2.5-7B-Instructを使用し、各手法につきシードは1つだった。

## なぜ重要か

報酬が遅れて得られるタスクでエージェントを学習させる研究者にとって、VCBMは結果を左右する判断を重視する手法として検証されている。ただし、AppWorldでの結果の信頼性を判断するには、さらに多くの実行が必要だ。

## 出典と参考資料

1. [Visual Causal-chain Bookmarking: Retrieval-Weighted Credit Assignment for Reinforcement Learning from Delayed Reward](https://arxiv.org/abs/2610.24032) – arXiv cs.LG, 2026-10-20

最終更新: 2026-10-20