맨체스터대학교 학위 논문은 강화학습 에이전트가 지연된 보상으로 이어진 행동을 파악하도록 돕는 방법인 Visual Causal-chain Bookmarking(VCBM)을 소개한다. 시계 수리 시뮬레이션에서 VCBM은 20회 실행 기준 평균 1,532.3회 에피소드 만에 올바른 결정을 95.07% 달성했다. RUDDER 기준선은 평균 3,327.1회 에피소드가 필요했다. AppWorld에서는 VCBM을 혼합한 학습으로 작업 성공률이 0.354에서 0.458로 높아졌다. 다만 방법별로 한 번씩만 실행해 비교했으므로 통계적으로 확인된 결과는 아니다.
왜 중요한가
지연된 보상이 있는 작업을 에이전트에 학습시키는 연구자에게 VCBM은 결과에 중요한 결정에 더 큰 비중을 두는 검증된 방법을 제시한다. 다만 AppWorld 결과의 신뢰성을 분명히 하려면 추가 실행이 필요하다.
