# WorldSketch让机器人先构建环境模型，再采取行动

> 一种新的机器人方法让视觉语言模型描绘与任务相关的物体和动作，再由几何规划器计算机器人该如何移动。

Oossa · 2026-11-03 · https://oossa.com/zh/worldsketch-builds-robot-world-models-before-acting

一个研究团队推出了机器人系统WorldSketch。它不直接让视觉语言模型（VLM）选择机器人的动作，而是先让模型构建一个简单的周边环境模型，识别与任务相关的物体、物体可以如何接触或移动，以及可能采取哪些动作。随后，几何规划器利用这一模型规划接触方式和机器人的全身动作。

研究人员报告称，WorldSketch在RoboCasa上的零样本成功率为91%，在LIBERO-PRO上为97%，在R2R-CE导航任务上为76%。在RoboCasa上，WorldSketch的得分比表现次佳的零样本智能体基线高58个百分点，同时使用的VLM输入词元仅为对方的十分之一。在LIBERO-PRO上，它的得分比CaP-X高82个百分点。在导航任务中，它以少六倍的输入词元，达到了逐步执行的VLM智能体相同的成功率。这些数据来自论文作者的报告，并非独立评估结果。

## 系统如何修正计划？

WorldSketch不会把初次绘制的模型视为定稿。VLM可以调用感知工具核实自己的理解；机器人的执行反馈也能揭示预测错误之处。随后，系统可以更新模型中不确定的部分，再次尝试。其目标是为规划器提供足够的信息来采取行动，同时不要求VLM直接推理精确的几何关系和接触方式。

研究人员称，这种方法针对的是两种常见设计思路：让VLM从固定技能库中选择技能，或要求它生成动作和控制程序。固定技能库可能限制机器人的能力；直接生成动作则要求VLM处理细致的物理推理。WorldSketch采取了不同做法：由VLM构建针对特定任务的模型，再由规划器负责动作规划。

这篇论文是一份40页的arXiv预印本，发布于2026年11月3日。摘要报告了三个指定基准测试的结果，但没有说明评估是否使用实体机器人，也没有证明系统在这些测试之外会有怎样的表现。因此，这些结果显示该方法在所报告的评估中颇具潜力，但不能证明它能在日常家庭环境中可靠使用。

## 事实

- WorldSketch报告称，其在RoboCasa上的成功率为91%，在LIBERO-PRO上为97%，在R2R-CE导航任务上为76%。
- 在RoboCasa上，它的得分比表现次佳的零样本智能体基线高58个百分点，VLM输入词元用量减少至十分之一。
- 论文报告称，在LIBERO-PRO上，WorldSketch的得分比CaP-X高82个百分点。
- 在导航任务中，WorldSketch以少六倍的输入词元，达到了逐步执行的VLM智能体相同的成功率。

## 为什么重要

对于关注家用机器人的人来说，WorldSketch提供了一种连接视觉理解与动作规划的新思路：由VLM构建模型，再由规划器据此采取行动。论文报告的基准测试结果令人鼓舞，但摘要没有说明该系统是否在实体机器人上进行过测试，也未证明它能否在普通家庭中可靠运行。

## 来源与参考

1. [WorldSketch: Sketching World Models for Zero-Shot Mobile Manipulation](https://arxiv.org/abs/2611.00513) – arXiv cs.RO, 2026-11-03

最后更新: 2026-11-03