연구진은 사전 학습된 정책을 바꾸지 않고 실행 중인 생성형 로봇 정책을 유도하는 GUARD라는 방법을 소개했다. GUARD는 작업 보상과 이상 점수, 즉 학습 데이터가 뒷받침하는 패턴에서 벗어나는 행동을 나타내는 신호를 결합한다. 그리고 학습된 Q 함수를 사용해 정책의 행동 생성 과정을 안내한다.
정교한 손 조작이 필요한 시뮬레이션 작업 4종에서 연구진이 보고한 평균 성공률은 일반 조건에서 96%, 동역학 교란 조건에서 80%였다. 이는 가장 성능이 좋은 기준 방법보다 각각 21퍼센트포인트, 20퍼센트포인트 높은 수치다. 연구진은 시뮬레이션에서 실제 환경으로 직접 옮긴 테스트에서도 손안에서 드라이버를 회전하는 작업의 성공률이 40퍼센트포인트, 방향을 다시 잡는 작업의 성공률이 25퍼센트포인트 높아졌다고 보고했다.
왜 중요한가
변화하는 조건에 맞춰 생성형 정책을 적용하려는 로봇 팀은 GUARD를 통해 행동을 선택할 때 학습 데이터의 이상 징후를 경고 신호로 활용할 수 있다. 논문은 유망한 결과를 보고하지만, 테스트한 작업을 넘어 이 방법이 얼마나 잘 작동하는지는 입증하지 않았다.
