Un gruppo di ricerca ha presentato WorldSketch, un sistema robotico che chiede a un modello visione-linguaggio (VLM) di creare un modello semplice dell’ambiente circostante, anziché scegliere direttamente i movimenti del robot. Il modello individua gli oggetti pertinenti al compito, come possono essere toccati o spostati e quali movimenti potrebbero essere possibili. Un pianificatore geometrico usa quindi quel modello per pianificare i contatti e i movimenti dell’intero corpo del robot.
I ricercatori riportano tassi di successo zero-shot del 91% su RoboCasa, del 97% su LIBERO-PRO e del 76% nella navigazione R2R-CE. Su RoboCasa, WorldSketch ha ottenuto un risultato superiore di 58 punti percentuali rispetto al secondo miglior agente zero-shot di riferimento, usando un decimo dei token di input per il VLM. Su LIBERO-PRO ha superato CaP-X di 82 punti percentuali. Nella navigazione ha raggiunto lo stesso tasso di successo degli agenti VLM che procedono passo dopo passo, usando però sei volte meno token di input. Si tratta di risultati riportati dagli autori dell’articolo, non di valutazioni indipendenti.
Come aggiorna il sistema il proprio piano?
WorldSketch non considera definitivo il primo schizzo. Il VLM può interrogare strumenti di percezione per verificare di aver interpretato correttamente la scena, mentre il riscontro dell’esecuzione del robot può rivelare eventuali previsioni errate. Il sistema può quindi aggiornare le parti incerte del modello e riprovare. L’obiettivo è fornire al pianificatore informazioni sufficienti per agire, senza chiedere al VLM di ragionare direttamente su geometrie e contatti precisi.
L’approccio affronta due scelte progettuali comuni descritte dai ricercatori: usare un VLM per selezionare abilità da una libreria fissa, oppure chiedergli di generare azioni e programmi di controllo. Una libreria fissa può limitare ciò che il robot è in grado di fare; la generazione diretta delle azioni richiede invece al VLM di gestire ragionamenti fisici dettagliati. WorldSketch affida al VLM la costruzione di un modello specifico per il compito e al pianificatore il calcolo dei movimenti.
L’articolo è un preprint di 40 pagine pubblicato su arXiv il November 3, 2026. L’abstract riporta risultati su tre benchmark specifici, ma non precisa se la valutazione sia stata condotta con robot fisici né dimostra come il sistema si comporterebbe al di fuori di quei test. I risultati mostrano quindi il potenziale del sistema nelle valutazioni riportate, ma non provano che sia affidabile nell’uso quotidiano in casa.
Perché conta
Per chi è interessato ai robot domestici, WorldSketch propone un modo diverso di collegare comprensione visiva e movimento: il VLM costruisce un modello e un pianificatore lo usa per agire. I risultati sui benchmark sono incoraggianti, ma l’abstract dell’articolo non chiarisce se il sistema sia stato testato su robot fisici né quanto saprebbe gestire in modo affidabile le normali situazioni domestiche.
