Huang Huang이 이끄는 연구팀은 시뮬레이션 속 로봇의 궤적을 사실적인 RGB 영상으로 바꾸는 시스템 RoboRender를 공개했다. 이 모델은 깊이 영상과 언어 명령, 로봇 마스크를 활용해 실제 세계의 질감과 배경을 더하면서도 기존 동작과 행동은 그대로 유지한다. 이 영상으로 학습한 정책을 물체 집기·놓기, 관절형 물체 조작, 이동형 조작 과제에서 시험한 결과 성공률은 71%였다. 이는 원시 시뮬레이션 렌더링으로 학습했을 때보다 약 7.1배, 일반적인 시각적 도메인 무작위화 방식보다 3.6배 높은 수치다.
왜 중요한가
로봇 개발자는 시뮬레이션에서 제어기를 학습한 뒤 실제 환경에 바로 적용해, 비용이 많이 드는 실제 데이터 수집을 줄일 수 있다.