연구팀이 WorldSketch라는 로봇 시스템을 공개했다. 이 시스템은 로봇의 움직임을 바로 결정하는 대신 비전·언어 모델(VLM)이 주변 환경을 간단한 모델로 만들도록 한다. 모델은 작업에 필요한 물체와 물체에 접촉하거나 움직일 수 있는 방식, 가능한 움직임을 파악한다. 이어 기하학적 플래너가 이 모델을 활용해 접촉 방법과 로봇의 전신 움직임을 계획한다.
연구진은 RoboCasa에서 91%, LIBERO-PRO에서 97%, R2R-CE 내비게이션에서 76%의 제로샷 성공률을 기록했다고 밝혔다. RoboCasa에서는 WorldSketch가 차순위 제로샷 에이전트 기준선보다 58%포인트 높은 점수를 얻었으며, VLM 입력 토큰은 10분의 1만 사용했다. LIBERO-PRO에서는 CaP-X보다 82%포인트 앞섰다. 내비게이션에서는 단계별로 작동하는 VLM 에이전트와 같은 성공률을 기록하면서 입력 토큰은 6분의 1만 사용했다. 이는 논문 저자들이 보고한 결과이며, 독립적으로 검증된 평가는 아니다.
시스템은 어떻게 계획을 수정할까?
WorldSketch는 처음 만든 스케치를 최종안으로 취급하지 않는다. VLM은 인식 도구를 호출해 자신이 파악한 내용을 확인할 수 있고, 로봇의 실행 피드백을 통해 예측이 틀렸다는 사실을 알아낼 수도 있다. 그러면 시스템은 모델에서 불확실한 부분을 수정하고 다시 시도한다. 정밀한 기하학과 접촉을 VLM이 직접 추론하게 하지 않으면서도 플래너가 행동에 필요한 정보를 충분히 얻도록 하는 것이 목표다.
이 접근법은 연구진이 설명한 두 가지 일반적인 설계 방식의 한계를 보완한다. 하나는 VLM이 정해진 기술 목록에서 동작을 고르는 방식이고, 다른 하나는 VLM에 동작과 제어 프로그램을 생성하도록 하는 방식이다. 정해진 기술 목록은 로봇이 할 수 있는 일을 제한할 수 있고, 동작을 직접 생성하는 방식은 VLM이 세밀한 물리적 추론까지 담당해야 한다. 반면 WorldSketch에서는 VLM이 작업별 모델을 만들고 플래너가 움직임을 처리한다.
이 논문은 40쪽 분량의 arXiv 사전 공개 논문으로, 2026년 11월 3일 게시됐다. 초록에는 세 가지 이름이 명시된 벤치마크의 결과가 나오지만, 평가에 실제 로봇을 사용했는지는 밝히지 않았으며 해당 테스트 외 상황에서 시스템이 어떻게 작동할지도 입증하지 않는다. 따라서 이 결과는 보고된 평가에서 가능성을 보여준 것이지, 일상적인 가정에서 안정적으로 사용할 수 있다는 증거는 아니다.
왜 중요한가
가정용 로봇에 관심이 있는 사람들에게 WorldSketch는 시각적 이해를 움직임으로 연결하는 다른 방식을 제시한다. VLM이 모델을 만들고 플래너가 이를 활용해 행동하는 구조다. 보고된 벤치마크 결과는 기대를 모으지만, 논문 초록만으로는 실제 로봇에서 시험했는지, 일반적인 가정 환경에서 얼마나 안정적으로 작동할지 알 수 없다.
