# WorldSketch bygger en världsmodell innan roboten agerar

> En ny metod låter en språk- och bildmodell skissa upp relevanta föremål och rörelser. Sedan räknar en geometrisk planerare ut hur roboten ska förflytta sig.

Oossa · 2026-11-03 · https://oossa.com/sv/worldsketch-builds-robot-world-models-before-acting

En forskargrupp har presenterat WorldSketch, ett robotsystem där en språk- och bildmodell (VLM) först skapar en enkel modell av omgivningen i stället för att direkt välja robotens rörelser. Modellen identifierar föremål som är relevanta för uppgiften, hur de kan vidröras eller flyttas och vilka rörelser som kan vara möjliga. En geometrisk planerare använder sedan modellen för att planera kontakt och robotens rörelser med hela kroppen.

Forskarna rapporterar nollskottsresultat på 91 % för RoboCasa, 97 % för LIBERO-PRO och 76 % för navigering i R2R-CE. På RoboCasa fick WorldSketch 58 procentenheter högre resultat än den näst bästa nollskottsbaslinjen för agenter, samtidigt som systemet använde en tiondel så många indatatoken för VLM:en. På LIBERO-PRO slog det CaP-X med 82 procentenheter. I navigering matchade det nollskottsagenter som använder VLM steg för steg, men med sex gånger färre indatatoken. Det här är resultat som artikelförfattarna rapporterar, inte oberoende utvärderingar.

## Hur reviderar systemet sin plan?

WorldSketch behandlar inte sin första skiss som slutgiltig. VLM:en kan använda perceptionsverktyg för att kontrollera vad den har uppfattat, och återkoppling från robotens utförande kan visa när en förutsägelse var fel. Systemet kan då uppdatera osäkra delar av modellen och försöka igen. Målet är att ge planeraren tillräckligt med information för att agera, utan att kräva att VLM:en själv resonerar kring exakt geometri och fysisk kontakt.

Metoden tar sig an två vanliga designval som forskarna beskriver: att låta en VLM välja bland ett fast bibliotek av färdigheter, eller att be den generera handlingar och styrprogram. Ett fast bibliotek kan begränsa vad roboten kan göra, medan direkt generering av handlingar kräver att VLM:en hanterar detaljerade fysiska resonemang. I WorldSketch får VLM:en i stället bygga en uppgiftsspecifik modell, medan planeraren sköter rörelserna.

Artikeln är ett 40-sidigt förtryck på arXiv, publicerat den 3 november 2026. I sitt abstract redovisar den resultat från tre namngivna jämförelsetester, men anger inte om utvärderingen gjordes med fysiska robotar eller hur systemet skulle fungera utanför dessa tester. Resultaten visar därför lovande möjligheter i de redovisade utvärderingarna, men bevisar inte att systemet fungerar tillförlitligt i vardagliga hem.

## Fakta

- WorldSketch rapporterade en träffsäkerhet på 91 % för RoboCasa, 97 % för LIBERO-PRO och 76 % för navigering i R2R-CE.
- På RoboCasa fick systemet 58 procentenheter högre resultat än den näst bästa nollskottsbaslinjen för agenter och använde 10 gånger färre indatatoken för VLM:en.
- Artikeln rapporterar en ökning med 82 procentenheter jämfört med CaP-X på LIBERO-PRO.
- I navigering matchade WorldSketch träffsäkerheten hos VLM-agenter som arbetar steg för steg, samtidigt som det använde sex gånger färre indatatoken.

## Varför det spelar roll

För den som är intresserad av hemrobotar erbjuder WorldSketch ett annorlunda sätt att koppla ihop visuell förståelse och rörelse: VLM:en bygger en modell och en planerare använder den för att styra roboten. De rapporterade resultaten i jämförelsetesterna är lovande, men artikelns abstract visar inte om systemet har testats med fysiska robotar eller hur tillförlitligt det skulle fungera i vanliga hem.

## Källor och referenser

1. [WorldSketch: Sketching World Models for Zero-Shot Mobile Manipulation](https://arxiv.org/abs/2611.00513) – arXiv cs.RO, 2026-11-03

Senast uppdaterad: 2026-11-03