# GazeAct, 사람의 시선으로 로봇 행동 정책을 학습한다

> 로봇 시연과 동기화된 사람의 시선을 결합한 데이터셋이다. 연구진은 시선 정보를 학습에 활용하면 작업 성공률이 높아지며, 실제 작동 시에는 시선 입력이 필요 없다고 밝혔다.

Oossa · 2026-10-20 · https://oossa.com/ko/gazeact-uses-human-eye-tracking-to-train-robot-policies

연구진은 실제 로봇 데이터셋이자 학습 방식인 GazeAct를 공개했다. 이 데이터셋은 40개 작업에서 수집한 시연 12,000건과 300 Hz로 기록한 사람의 시선 정보를 결합한다. 시선 정보는 비전-언어-행동 정책이 관련 물체와 위치에 집중하도록 학습하는 데 쓰인다. 연구진에 따르면 로봇이 실제로 작동할 때는 시선 입력이 필요하지 않다.

실제 환경의 18개 작업에서 평균 성공률은 48.1%에서 58.6%로 높아졌으며, 최대 25%포인트 상승했다고 연구진은 보고했다. LIBERO-Spatial 벤치마크에서도 성공률이 57.9%에서 69.6%로 올랐다고 밝혔다.

## 팩트

- 5개 도메인, 40개 작업의 시연 12,000건에 300 Hz로 동기화한 시선 정보를 포함한다.
- 실제 환경의 18개 작업에서 보고된 평균 성공률: 48.1%에서 58.6%로 상승.

## 왜 중요한가

로봇 연구자들은 GazeAct를 통해 작업자의 시선 움직임을 학습 지침으로 활용하면서도 실제 배포 단계에서는 시선 센서를 사용하지 않을 수 있다. 다만 보고된 실험을 넘어선 환경에서도 성능 향상이 이어질지는 아직 분명하지 않다.

## 출처 및 참고 자료

1. [GazeAct: A Human-Gaze-Annotated Manipulation Dataset for Attention-Regularized Policies](https://arxiv.org/abs/2610.24507) – arXiv cs.RO, 2026-10-20

최종 업데이트: 2026-10-20