Un equipo de investigación presentó WorldSketch, un sistema robótico que pide a un modelo de visión y lenguaje (VLM) que construya un modelo sencillo de su entorno, en lugar de elegir directamente los movimientos del robot. El modelo identifica los objetos relevantes para la tarea, cómo se pueden tocar o mover y qué movimientos podrían ser posibles. Después, un planificador geométrico usa ese modelo para planificar los contactos y los movimientos de todo el cuerpo del robot.
Los investigadores informan tasas de éxito sin entrenamiento específico de 91% en RoboCasa, 97% en LIBERO-PRO y 76% en navegación R2R-CE. En RoboCasa, WorldSketch superó por 58 puntos porcentuales al siguiente mejor agente de referencia sin entrenamiento específico y usó una décima parte de los tokens de entrada del VLM. En LIBERO-PRO, superó a CaP-X por 82 puntos porcentuales. En navegación, igualó la tasa de éxito de los agentes VLM que actúan paso a paso y usó seis veces menos tokens de entrada. Estos resultados los reportan los autores del artículo; no son evaluaciones independientes.
¿Cómo revisa el sistema su plan?
WorldSketch no considera definitivo su primer esbozo. El VLM puede consultar herramientas de percepción para comprobar qué ha entendido, y la información que recibe el robot al ejecutar sus acciones puede revelar que una predicción era errónea. Entonces, el sistema puede actualizar las partes inciertas de su modelo e intentarlo de nuevo. El objetivo es proporcionar al planificador información suficiente para actuar, sin exigir que el VLM razone directamente sobre geometría y contactos precisos.
El enfoque aborda dos decisiones de diseño habituales, según los investigadores: usar un VLM para elegir de una biblioteca fija de habilidades o pedirle que genere acciones y programas de control. Una biblioteca fija puede limitar lo que el robot es capaz de hacer; generar acciones directamente exige que el VLM se ocupe de razonamientos físicos detallados. En cambio, WorldSketch encarga al VLM construir un modelo específico para cada tarea y deja que el planificador gestione los movimientos.
El artículo es un preprint de 40 páginas publicado en arXiv el November 3, 2026. El resumen presenta resultados en tres pruebas de referencia, pero no especifica si la evaluación se hizo con robots físicos ni permite determinar cómo funcionaría el sistema fuera de esas pruebas. Por tanto, los resultados son prometedores en las evaluaciones descritas, pero no demuestran que el sistema sea fiable para el uso doméstico cotidiano.
Por qué importa
Para quienes se interesan por los robots domésticos, WorldSketch propone otra manera de conectar la comprensión visual con el movimiento: el VLM construye un modelo y un planificador lo usa para actuar. Los resultados en las pruebas de referencia son alentadores, pero el resumen del artículo no aclara si el sistema se ha probado con robots físicos ni qué fiabilidad tendría en hogares corrientes.
