Uma equipe de pesquisa apresentou o WorldSketch, um sistema robótico que pede a um modelo de visão e linguagem (VLM) que construa um modelo simples do ambiente, em vez de escolher diretamente os movimentos do robô. O modelo identifica os objetos relevantes para a tarefa, como podem ser tocados ou movidos e quais movimentos podem ser possíveis. Em seguida, um planejador geométrico usa esse modelo para planejar os contatos e os movimentos de todo o corpo do robô.
Os pesquisadores relatam taxas de sucesso zero-shot de 91% no RoboCasa, 97% no LIBERO-PRO e 76% na navegação R2R-CE. No RoboCasa, o WorldSketch ficou 58 pontos percentuais acima do agente zero-shot seguinte mais bem colocado, usando um décimo dos tokens de entrada do VLM. No LIBERO-PRO, superou o CaP-X por 82 pontos percentuais. Na navegação, igualou a taxa de sucesso de agentes VLM que atuam passo a passo, usando seis vezes menos tokens de entrada. Esses resultados foram divulgados pelos autores do artigo e não são avaliações independentes.
Como o sistema revisa o plano?
O WorldSketch não trata seu primeiro esboço como definitivo. O VLM pode consultar ferramentas de percepção para verificar o que entendeu, e o retorno da execução do robô pode revelar quando uma previsão estava errada. O sistema pode então atualizar as partes incertas do modelo e tentar novamente. A ideia é fornecer ao planejador informações suficientes para agir, sem exigir que o VLM raciocine diretamente sobre geometria e contato precisos.
A abordagem busca alternativas a duas escolhas de projeto comuns descritas pelos pesquisadores: usar um VLM para selecionar opções de uma biblioteca fixa de habilidades ou pedir que ele gere ações e programas de controle. Uma biblioteca fixa pode limitar o que o robô é capaz de fazer; gerar ações diretamente exige que o VLM lide com raciocínio físico detalhado. No WorldSketch, o VLM constrói um modelo específico para cada tarefa, enquanto o planejador cuida dos movimentos.
O artigo é um preprint de 40 páginas publicado no arXiv em 3 de novembro de 2026. O resumo apresenta resultados em três benchmarks identificados pelo nome, mas não informa se a avaliação foi feita com robôs físicos nem demonstra como o sistema se sairia fora desses testes. Portanto, os resultados indicam potencial nas avaliações divulgadas, mas não comprovam que o sistema seja confiável no uso doméstico cotidiano.
Por que importa
Para quem se interessa por robôs domésticos, o WorldSketch propõe uma maneira diferente de conectar compreensão visual e movimento: o VLM constrói um modelo, e um planejador o usa para agir. Os resultados nos benchmarks são promissores, mas o resumo do artigo não esclarece se o sistema foi testado em robôs físicos nem com que confiabilidade lidaria com casas comuns.
