# AIRoA-0, 사람의 손동작 시연으로 로봇 손을 훈련 > 양손 로봇 시스템은 로봇 없이 기록한 사람의 시연 16,151시간을 학습했다. 개발진은 10개 작업에서 평균 성공률 78%를 기록했다고 밝혔다. Oossa · 2026-11-04 · https://oossa.com/ko/airoa-0-trains-robot-hands-from-handheld-demonstrations 연구팀이 손에 쥐고 조작하는 그리퍼로 사람이 작업을 시연한 영상 16,151시간을 학습한 로봇 시스템 AIRoA-0을 공개했다. 연구팀은 학습 과정에서 로봇 데이터를 전혀 수집하지 않았으며, 로봇은 시스템을 시험할 때만 등장한다고 밝혔다. 시연에는 오픈소스 그리퍼 YUBI가 사용됐다. 사람은 이 그리퍼를 손에 들고 로봇 없이 조작 작업을 기록할 수 있다. AIRoA-0은 한 번의 지시만으로 작은 부품 12개 이상을 번호가 매겨진 칸에 분류하거나, 로봇 청소기의 물걸레 패드와 브러시를 교체하고, 필통 지퍼를 열거나 수건을 개는 등의 작업을 수행할 수 있다. 장면 전체를 내려다보는 카메라 없이 양쪽 손목에 장착된 카메라만 사용한다. 평가는 학습 데이터가 전혀 기록되지 않은 장소에서 진행됐다. ## 성능은 어땠나? 연구진은 평가한 10개 작업에서 평균 성공률 78%를 기록했다고 밝혔다. 이는 같은 작업 시연 데이터로 추가 학습한 다른 시각-언어-행동 모델 4종 가운데 가장 성능이 높았던 모델의 27%와 비교한 수치다. 시각 입력과 언어 지시를 로봇 동작으로 연결하는 시스템을 시각-언어-행동 모델이라고 한다. 이는 연구팀이 보고한 결과이며, 제공된 논문 요약에는 독립적인 평가에 대한 설명이 없다. AIRoA-0은 YUBI 그리퍼를 장착할 수 있는 여러 로봇에서 작동하도록 설계됐다. 연구진은 양팔 로봇인 Franka, TX-G2, OpenArm, UR을 예로 들었다. 이 시스템은 손목 카메라 영상에서 중요한 부분을 파악하고, 작업이 어느 단계에 이르렀는지 추정한 뒤 동작을 연속적으로 출력한다. 논문에 따르면 강화학습이나 로봇에 직접 적용하는 보정은 사용하지 않는다. ## 다른 사람도 활용할 수 있나? 연구팀은 시연 데이터 세트와 사전 학습된 모델 가중치, 새로운 작업에 맞게 시스템을 조정하는 방법을 공개한다고 밝혔다. 연구진은 자신들이 아는 한 이 데이터 세트가 작업 및 하위 작업 지시를 포함한 핸드헬드 그리퍼 시연 자료 가운데 가장 규모가 크다고 설명했다. 연구진에 따르면 YUBI로 작업을 기록한 뒤 H200 GPU 8개가 탑재된 컴퓨터 노드 한 대를 사용하면 4시간 이내에 모델을 추가 학습할 수 있다. 이 방식은 사람이 로봇을 직접 조종해 시연을 수집하는 기존 로봇 학습 방식과 다르다. 연구진은 먼저 사람의 손동작을 기록한 다음, 시험 단계에서 학습한 동작을 로봇에 적용한다. 논문 결과는 평가한 10개 작업에 한정되며, 그 밖의 작업이나 환경에서도 시스템이 얼마나 잘 작동할지는 입증하지 않는다. ## 팩트 - AIRoA-0은 로봇 데이터를 학습 과정에서 수집하지 않고, 핸드헬드 시연 16,151시간을 학습했다. - 연구진은 10개 작업에서 평균 성공률 78%를 기록했다고 밝혔다. 다른 모델 4종 가운데 가장 성능이 높았던 모델은 27%였다. - 이 시스템은 손목 카메라 2대를 사용하며, 학습 데이터가 전혀 기록되지 않은 장소에서 시험을 거쳤다. - 연구팀은 데이터 세트와 사전 학습된 가중치, 추가 학습 방법을 공개한다고 밝혔다. ## 왜 중요한가 로봇 연구자와 개발자는 로봇을 직접 움직여 시연을 수집하는 대신 사람의 손동작을 기록해 로봇을 가르칠 수 있다. 연구진은 10개 작업에서 높은 성능을 보고했지만, 다른 작업에서도 같은 성능을 보일지와 결과가 독립적으로 확인됐는지는 아직 알 수 없다. ## 출처 및 참고 자료 1. [AIRoA-0: Long-Horizon, Precise, Cross-Embodiment Manipulation from Handheld Data](https://arxiv.org/abs/2611.03815) – arXiv cs.RO, 2026-11-04 최종 업데이트: 2026-11-04