엑스와이지가 세미 휴머노이드 로봇 ‘듀스(DEUX)’가 작업 중 실패한 상황을 다음 학습에 반영하는 기술을 공개했다. 컨베이어 위 빵 봉지를 집어 바코드를 스캔하고 옆 트레이로 옮기는 작업에 적용했다. 회사는 실패 유형에 맞는 시연 데이터를 추가한 뒤, 회전된 봉투를 집는 성공률이 약 10%에서 약 90%로 올랐다고 밝혔다.
실험에는 듀스 두 대가 참여했다. 엑스와이지는 먼저 여러 작업 상황을 담은 시연 데이터 1,200건으로 AI 모델을 학습했다. 실제 작업 환경에서 성능이 떨어지는 조건을 확인한 다음, 봉투를 놓친 뒤 다시 잡지 못하는 상황과 봉투가 약 90도 돌아간 상황을 주요 실패 유형으로 분류했다. 각 유형에 대응하는 시연 데이터를 약 200건씩 추가해 모델을 미세조정했다.
봉투를 놓친 뒤 다시 잡는 복구 성공률은 기존 0%에서 약 85%로 높아졌다. 다만 결과가 모든 방향의 봉투에 적용된 것은 아니다. 학습 데이터에 충분히 들어 있지 않은 대각선 방향 봉투는 오프라인 예측 평가에서 뚜렷한 개선이 없었다. 회사가 공개한 수치에는 각 조건의 평가 횟수 등 세부 사항이 제시되지 않았다.
시연부터 현장 검증까지 한 흐름으로
엑스와이지는 엔비디아의 로봇용 비전·언어·행동 모델 ‘아이작 GR00T N1.7’을 듀스의 작업 시연 데이터로 미세조정했다. 이 모델은 카메라가 보는 장면과 지시를 바탕으로 로봇의 행동을 생성한다. 작업자는 Meta Quest 3나 리더암으로 로봇을 원격 조종하고, 이때 로봇에 전달되는 관절별 제어 명령을 학습 데이터로 기록한다.
학습 뒤에는 작업자 대신 모델이 제어 명령을 만든다. 회사는 데이터 수집과 모델 실행에 같은 제어 구조를 써서, 학습 시연과 실제 로봇 동작 사이의 차이를 줄일 수 있다고 설명했다. 듀스에 실린 컴퓨터 세 대는 PTP라는 시간 동기화 기술로 연결했다. 회사에 따르면 컴퓨터 간 시간 오차를 약 1밀리초 이내로 맞춰 카메라와 센서 데이터를 정렬한다.
작업 능력을 ‘스킬’로 관리
학습한 작업은 엑스와이지의 로봇 지능 플랫폼 ‘브레인엑스(BrainX)’에 스킬 단위로 저장된다. 회사는 미리 정해진 동작은 표준 행동으로 처리하고, 물체 상태나 주변 환경에 따라 판단이 필요한 작업에는 VLA 모델을 활용하는 구조라고 밝혔다. 이렇게 하면 새로 학습한 작업 능력을 개별 스킬로 관리해 이후 로봇 작업에 쓸 수 있다는 설명이다.
엑스와이지는 실패가 발생한 조건을 구체적으로 나누고 필요한 시연을 추가하는 학습 과정을 반복해, 듀스가 수행할 작업을 늘릴 계획이다. 리테일과 오피스 현장으로 적용 범위를 넓히겠다고 밝혔다. 이번 사례는 특정 작업의 실패 유형에 맞춘 학습이 성능을 개선할 수 있음을 보여주지만, 다른 물체나 작업 조건에서도 같은 결과가 나오는지는 확인되지 않았다.
왜 중요한가
물류·리테일 현장 운영자는 로봇이 자주 실패하는 조건을 골라 시연 데이터를 보완하는 방식으로 작업 성능을 높일 가능성을 볼 수 있다. 다만 이번 결과는 빵 봉지 분류 작업 사례이며, 대각선 방향 봉투에서는 개선이 확인되지 않아 다른 상품과 현장에서도 효과가 이어질지는 아직 알 수 없다.