# VCBM, 보상으로 이어진 행동에 강화학습 초점

> 맨체스터대학교 학위 논문은 결과에 중요한 행동에 더 큰 공을 돌리는 방법을 시험했으며, 서로 다른 두 환경에서 가능성을 보였다.

Oossa · 2026-10-20 · https://oossa.com/ko/vcbm-focuses-rl-training-on-decisions-tied-to-rewards

맨체스터대학교 학위 논문은 강화학습 에이전트가 지연된 보상으로 이어진 행동을 파악하도록 돕는 방법인 Visual Causal-chain Bookmarking(VCBM)을 소개한다. 시계 수리 시뮬레이션에서 VCBM은 20회 실행 기준 평균 1,532.3회 에피소드 만에 올바른 결정을 95.07% 달성했다. RUDDER 기준선은 평균 3,327.1회 에피소드가 필요했다. AppWorld에서는 VCBM을 혼합한 학습으로 작업 성공률이 0.354에서 0.458로 높아졌다. 다만 방법별로 한 번씩만 실행해 비교했으므로 통계적으로 확인된 결과는 아니다.

## 팩트

- 시계 수리 실험은 20개의 시드를 사용했으며, VCBM은 모든 시드에서 알려진 인과 구조와 일치했다.
- AppWorld 비교에는 Qwen2.5-7B-Instruct를 사용했으며, 방법별 시드는 하나였다.

## 왜 중요한가

지연된 보상이 있는 작업을 에이전트에 학습시키는 연구자에게 VCBM은 결과에 중요한 결정에 더 큰 비중을 두는 검증된 방법을 제시한다. 다만 AppWorld 결과의 신뢰성을 분명히 하려면 추가 실행이 필요하다.

## 출처 및 참고 자료

1. [Visual Causal-chain Bookmarking: Retrieval-Weighted Credit Assignment for Reinforcement Learning from Delayed Reward](https://arxiv.org/abs/2610.24032) – arXiv cs.LG, 2026-10-20

최종 업데이트: 2026-10-20