Een onderzoeksteam heeft WorldSketch geïntroduceerd, een robotsysteem dat een vision-language model (VLM) vraagt een eenvoudig model van de omgeving te maken, in plaats van rechtstreeks robotbewegingen te kiezen. Het model herkent objecten die relevant zijn voor de taak, hoe die kunnen worden aangeraakt of verplaatst en welke bewegingen mogelijk zijn. Vervolgens gebruikt een geometrische planner dat model om het contact en de bewegingen van het hele lichaam van de robot te plannen.
De onderzoekers melden zero-shot-succespercentages van 91% op RoboCasa, 97% op LIBERO-PRO en 76% bij navigatie op R2R-CE. Op RoboCasa scoorde WorldSketch 58 procentpunten hoger dan de op één na beste zero-shot-baseline voor agents, terwijl het een tiende zoveel invoertokens voor de VLM gebruikte. Op LIBERO-PRO presteerde het 82 procentpunten beter dan CaP-X. Bij navigatie evenaarde het de succespercentages van VLM-agents die stap voor stap werken, met zes keer minder invoertokens. Dit zijn resultaten die de auteurs van het artikel melden, geen onafhankelijke evaluaties.
Hoe past het systeem zijn plan aan?
WorldSketch beschouwt de eerste schets niet als definitief. De VLM kan waarnemingstools raadplegen om te controleren wat het heeft begrepen, en feedback tijdens de uitvoering kan laten zien wanneer een voorspelling niet klopte. Het systeem kan vervolgens onzekere onderdelen van het model aanpassen en het opnieuw proberen. Het doel is de planner genoeg informatie te geven om te handelen, zonder dat de VLM zelf precies hoeft te redeneren over geometrie en contact.
De aanpak is een alternatief voor twee veelgebruikte ontwerpkeuzes die de onderzoekers beschrijven: een VLM laten kiezen uit een vaste bibliotheek met vaardigheden, of de VLM acties en besturingsprogramma’s laten genereren. Een vaste bibliotheek kan beperken wat de robot kan doen; bij het rechtstreeks genereren van acties moet de VLM gedetailleerd fysiek redeneren. In WorldSketch bouwt de VLM in plaats daarvan een taakspecifiek model, terwijl de planner de bewegingen voor zijn rekening neemt.
Het artikel is een arXiv-preprint van 40 pagina’s, gepubliceerd op November 3, 2026. In de samenvatting staan resultaten voor drie genoemde benchmarks, maar er wordt niet vermeld of de evaluatie met fysieke robots is uitgevoerd of hoe het systeem buiten die tests zou presteren. De resultaten wijzen dus op potentie binnen de gerapporteerde evaluaties, maar bewijzen niet dat het systeem betrouwbaar is voor dagelijks gebruik in huis.
Waarom het ertoe doet
Voor mensen die geïnteresseerd zijn in huisrobots biedt WorldSketch een andere manier om visueel begrip aan beweging te koppelen: de VLM bouwt een model en een planner gebruikt dat om te handelen. De gerapporteerde benchmarkresultaten zijn veelbelovend, maar uit de samenvatting van het artikel blijkt niet of het systeem met fysieke robots is getest of hoe betrouwbaar het in gewone woningen zou werken.
