연구진은 실제 로봇 데이터셋이자 학습 방식인 GazeAct를 공개했다. 이 데이터셋은 40개 작업에서 수집한 시연 12,000건과 300 Hz로 기록한 사람의 시선 정보를 결합한다. 시선 정보는 비전-언어-행동 정책이 관련 물체와 위치에 집중하도록 학습하는 데 쓰인다. 연구진에 따르면 로봇이 실제로 작동할 때는 시선 입력이 필요하지 않다.
실제 환경의 18개 작업에서 평균 성공률은 48.1%에서 58.6%로 높아졌으며, 최대 25%포인트 상승했다고 연구진은 보고했다. LIBERO-Spatial 벤치마크에서도 성공률이 57.9%에서 69.6%로 올랐다고 밝혔다.
왜 중요한가
로봇 연구자들은 GazeAct를 통해 작업자의 시선 움직임을 학습 지침으로 활용하면서도 실제 배포 단계에서는 시선 센서를 사용하지 않을 수 있다. 다만 보고된 실험을 넘어선 환경에서도 성능 향상이 이어질지는 아직 분명하지 않다.
