연구진은 시각·언어·행동 로봇이 작업을 수행하면서 시연 영상에서 유용한 구간을 선택하도록 돕는 방법인 VICTR를 소개했다. 시각적 유사성만으로 예시를 검색하는 대신, 기준 영상에 비춰 로봇이 작업을 얼마나 진행했는지 추정한 뒤 진행 단계가 일치하는 시연 구간을 π0.5 정책에 제공한다.
연구팀에 따르면, 학습 때 접하지 않은 실제 환경의 조작 작업에서 VICTR의 성공률은 23.8%로, 미세 조정한 π0.5 기준 모델의 6.2%보다 높았다. 논문은 작업 진행도가 28.9%에서 55.5%로 상승했다고도 보고했다. 다만 더 광범위한 실제 배치 환경에서 이 방법이 어떤 성능을 보일지는 입증하지 않았다.
왜 중요한가
로봇 연구자에게 VICTR는 작업 진행도가 일치하는 시연을 활용하면 로봇이 낯선 조작 작업을 수행하는 데 도움이 될 가능성을 보여준다. 보고된 시험을 넘어서는 성능은 아직 알려지지 않았다.
