연구진이 사람의 손으로 물체를 다루는 일반적인 단일 카메라 영상을 정교한 로봇 손의 동작 궤적으로 변환하는 시스템 OmniHOI를 선보였다. 이 연구는 실용적인 문제를 다룬다. 영상에는 손의 한쪽 면만 담기기 때문에, 그 움직임을 로봇에 그대로 옮기면 물체를 계속 잡지 못하는 동작이 나올 수 있다.
연구진에 따르면 OmniHOI는 동영상 클립 60개 중 53%에서 성공했다. 비교 대상으로 시험한 기존 동영상-로봇 전이 파이프라인 가운데 가장 성능이 좋았던 방식의 성공률은 28%였다. 별도의 시험에서는 모션캡처 궤적 150개를 자유도 6~22인 로봇 손 5종에 각각 적용했다. 자유도는 손이 움직일 수 있는 방식의 수를 나타내는 척도다. 성공률은 39~89%였으며, 기존 전이 방식의 성공률은 최대 31%에 그쳤다.
파이프라인 작동 방식
OmniHOI는 세 단계로 작동한다. 먼저 영상 속 단서를 활용해 손과 물체의 움직임을 복원한다. 그런 다음 로봇 손이 물체와 접촉하는 방식에 맞게 동작을 조정하고, 물리 시뮬레이션에서 이를 다듬어 실제 움직임의 역학적 특성을 더 잘 반영한다.
논문에 따르면 이렇게 만든 궤적은 다양한 작업에서 양팔을 갖춘 실제 로봇에도 적용됐다. 다만 초록에는 로봇의 이름이나 실제 로봇 시험의 성공률이 제시되지 않았다. 따라서 앞서 언급한 성공률을 실제 환경에서의 배치 성과로 해석해서는 안 된다. 이번 연구는 논문으로 발표됐으며, 초록에는 시스템이나 코드의 공개 여부가 명시되지 않았다.
결과가 보여주는 점
이번 결과는 정밀한 모션캡처 데이터나 작업별 강화학습 훈련 없이도 단일 카메라로 촬영한 사람의 동영상이 로봇 손에 유용한 시범 동작을 제공할 수 있음을 시사한다. 연구진이 보고한 시험 결과는 논문 초록에 담겼으며, 독립적인 검증에 관한 설명은 없다.
왜 중요한가
로봇 연구팀은 이번 결과를 통해 모션캡처 궤적에 의존하지 않고도 사람이 물체를 다루는 동영상에서 로봇 손의 시범 동작을 만들 수 있을 가능성을 확인할 수 있다. 다만 초록만으로는 보고된 시험을 넘어선 성능이나 다른 연구팀의 도구 접근 가능성까지 입증됐다고 볼 수 없다.
