Runway가 로봇 제어 모델 Praxis-1을 공개했다. 가중치와 소스 코드는 상업적 이용을 허용하는 Apache 2.0 라이선스로 제공된다. 이 모델은 카메라 영상과 텍스트 지시, 로봇의 위치 정보를 입력받아 장면이 어떻게 바뀔지 예측하고 로봇이 취해야 할 움직임을 산출한다. 새로운 카메라 프레임이 들어오면 제어 동작을 조정한다.
Runway는 9월 말 Praxis-1을 처음 선보였으며, 당시에는 일부 파트너에게만 제공했다. 이후 로봇 기업 Standard Bots, Noble Machines, Ultra가 휴머노이드 로봇, 산업용 로봇 팔, 양팔 창고 로봇 등 서로 다른 시스템에서 모델을 테스트했다. 개발자는 가입 후 이용 약관에 동의하면 Hugging Face에서 모델을 내려받을 수 있으며, 코드는 GitHub에서 확인할 수 있다.
성능은 어떨까?
Praxis-1은 물체의 움직임과 상호작용을 이해하도록 학습된 비디오 모델을 기반으로 한다. Runway는 모델이 일반 영상에서 배운 내용을 활용할 수 있도록 사람의 행동이 담긴 영상과 로봇 데이터를 추가 학습에 사용했다. 이 방식은 로봇 전용 데이터의 필요량을 줄일 가능성이 있지만, 아직 입증되지는 않았다. Runway는 Praxis-1을 Franka 로봇 팔에 적용하는 데 DROID 로봇 기록 약 277시간을 사용했고, 양팔 로봇에는 1,400~2,600시간 분량의 자료를 사용했다.
물체 분류, 집기, 쌓기 작업 120개를 시험하는 Nvidia RoboLab-120 시뮬레이션 벤치마크에서 Praxis-1은 성공률 46.2%를 기록했다. 같은 조건에서 FLUX 3 Action은 42.9%였다. Praxis-1은 장면의 변화를 예측해 동작을 이끄는 시스템 분류인 World Action Models 가운데 1위, 전체 순위에서는 5위를 차지했다. 테스트는 Runway가 진행했으며, 결과는 독립적으로 검증되지 않았다.
실제 Franka 로봇 팔에서는 열 가지 작업을 100번 시도해 Praxis-1이 88번 성공했다. FLUX 3 Action의 성공 횟수는 80번이었다. 이전 학습에 사용되지 않은 로봇 플랫폼을 이용한 별도 시뮬레이션에서는 로봇 데이터 약 95시간으로 추가 학습한 뒤 Praxis-1의 성공률이 80%에 도달했다. Runway는 같은 벤치마크에서 Google의 기존 RT-1이 52.4%를 기록했다고 밝혔다.
한계는 무엇일까?
기본 모델을 새 로봇에 적용하려면 추가 학습이 필요하다. 표준 버전을 실행하려면 메모리 80 GB를 갖춘 GPU가 필요하다. Runway는 압축 버전이 32 GB 메모리의 RTX 5090에서 실행될 수 있다고 추정했지만, 최대 메모리 사용량은 측정하지 않았다. Runway에 따르면 Praxis-1은 외형이 비슷한 물체를 혼동하거나 모호한 지시를 처리하는 데 어려움을 겪기도 한다. 모델이 아직 긴 동작 순서를 스스로 안정적으로 계획하지 못하므로 복잡한 작업은 명확한 단계로 나눠야 한다.
왜 중요한가
로봇 개발자는 상업적 이용을 허용하는 라이선스에 따라 Praxis-1을 내려받아 코드를 살펴보거나 수정할 수 있다. 다만 기본 모델을 새 로봇에 적용하려면 추가 학습이 필요하다. Runway가 발표한 결과는 기대를 모으지만 회사가 직접 진행한 테스트이며 독립 검증을 거치지 않았다. 따라서 다른 개발자의 환경에서도 모델이 얼마나 잘 작동할지, 비디오 사전 학습이 실제로 데이터 필요량을 줄이는지는 아직 불분명하다.
