VCBM、報酬につながる判断に強化学習を集中

マンチェスター大学の学位論文は、強化学習エージェントが遅れて得られる報酬に結びついた行動を学べるよう支援する手法「Visual Causal-chain Bookmarking（VCBM）」を紹介している。時計修理のシミュレーションでは、20回の実行で平均1,532.3エピソード後に正しい判断の割合が95.07%に達した。ベースラインのRUDDERでは、同じ水準に到達するまで3,327.1エピソードを要した。AppWorldでは、VCBMを組み込んだ学習によりタスク成功率が0.354から0.458に上昇した。ただし、この比較は各手法につき1回しか実行しておらず、統計的に確認された結果ではない。