엔비디아가 GR00T 2라는 새로운 AI 모델을 발표했다. 이 시스템은 사람이 작업하는 1인칭 시점 영상을 보고 로봇이 무엇을 보게 될지와 어떻게 움직여야 할지를 함께 예측한다. 실험실 테스트에서는 손가락이 다섯 개인 로봇이 해당 작업을 직접 원격 조종하지 않고도 성냥에 불을 붙이고, 바나나를 썰고, 소포를 던질 수 있었다.
엔비디아는 GR00T 2를 월드 액션 모델(WAM)이라고 설명한다. 이전 모델인 GR00T 1과 달리 이미지와 짝을 이룬 언어 명령이 필요 없다. 대신 확산 트랜스포머를 사용해 미래 영상과 동작의 잡음을 제거하면서 다음 영상 프레임과 그에 대응하는 모터 명령을 함께 예측한다.
모델은 어떻게 학습하나
이 모델은 방대한 데이터셋으로 학습됐다. 여기에는 사람이 작업하는 모습을 머리에 장착한 카메라로 촬영한 영상 약 400,000시간, 손에 쥐는 UMI 그리퍼를 이용한 시범 10,184시간, 로봇 원격 조작 영상 23,500시간이 포함된다. 엔비디아에 따르면 데이터의 대부분은 사람 영상이며, 사람 영상의 양을 늘리면 실제 로봇의 작업 성공률이 50 %에서 70 %로 높아진다.
새 로봇이 작업을 배워야 할 때 사람은 데이터 글러브나 손가락 외골격 장치를 착용하고 동작을 시범 보일 수 있다. 시스템은 영상 예측에서 사람의 팔을 로봇의 팔로 대체하고, 이에 맞는 제어 명령을 추출한다. 엔비디아는 시범을 몇 차례만 보여줘도 일반적인 학습을 3분도 채 하지 않은 뒤 성공률이 40 %에서 95 %로 올랐다고 밝혔다.
성능과 한계
통제된 실험에서 로봇은 사람의 영상 한 편만 보고 못을 박는 데 성공했다. GPT-6 Astra 같은 상위 언어 모델과 함께 사용했을 때는 장난감 자동차 조립 성공률이 97 %였지만, 언어 모델이 없으면 23 %로 떨어졌다. 두 발로 걷는 로봇용으로 경량화한 GR00T 2 Turbo는 Jetson Thor 온보드 컴퓨터에서 실행되며, 예측 한 번에 124 ms가 걸린다. 팝콘을 퍼 담거나 식탁을 치우고 액체를 닦는 등의 작업을 수행할 수 있지만, 액체 닦기는 시도의 절반에도 못 미치는 경우에만 성공했다.
엔비디아는 몇 가지 과제를 지적했다. 모델은 아직 직접적인 촉각 센서를 활용할 수 없고, 미묘한 오류를 놓치는 경우가 있다. 또 언어 모델을 사용하면 계획 단계마다 약 7초의 지연이 발생해, 쓰레기 분류 실험에서 로봇이 전체 시간의 약 3분의 1 동안 움직이지 않았다.
왜 중요한가
제조업체는 사람의 시범 한 번만으로 새 작업을 가르칠 수 있어 로봇 팔을 새 작업에 맞게 프로그래밍하는 시간과 비용을 줄일 수 있다. 다만 외부 언어 모델이 필요하고 촉각 감지 기능이 없는 만큼, 로봇이 생산 라인에서 완전히 안정적으로 작업하기까지는 아직 갈 길이 남아 있다.
