Ein Forschungsteam hat WorldSketch vorgestellt, ein Robotiksystem, das ein Vision-Language-Modell (VLM) zunächst ein vereinfachtes Modell seiner Umgebung erstellen lässt, statt direkt Roboterbewegungen festzulegen. Das Modell erkennt relevante Objekte, wie sie berührt oder bewegt werden können und welche Bewegungen möglich sein könnten. Ein geometrischer Planer nutzt dieses Modell dann, um den Kontakt mit den Objekten und die Ganzkörperbewegungen des Roboters zu planen.
Die Forschenden berichten von Erfolgsquoten von 91% bei RoboCasa, 97% bei LIBERO-PRO und 76% bei der Navigation mit R2R-CE. Bei RoboCasa lag WorldSketch 58 Prozentpunkte über dem nächstbesten Zero-Shot-Agenten als Vergleichswert und benötigte dabei ein Zehntel so viele Eingabetokens für das VLM. Bei LIBERO-PRO übertraf das System CaP-X um 82 Prozentpunkte. Bei Navigationsaufgaben erreichte es dieselbe Erfolgsquote wie VLM-Agenten, die Schritt für Schritt vorgehen, benötigte aber sechsmal weniger Eingabetokens. Dabei handelt es sich um Ergebnisse, die die Autorinnen und Autoren der Studie berichten, nicht um unabhängige Bewertungen.
Wie passt das System seinen Plan an?
WorldSketch behandelt die erste Skizze nicht als endgültig. Das VLM kann Wahrnehmungswerkzeuge abfragen, um zu überprüfen, was es erkannt hat. Rückmeldungen bei der Ausführung können außerdem zeigen, wenn eine Vorhersage falsch war. Das System kann dann unsichere Teile seines Modells aktualisieren und es erneut versuchen. Ziel ist, dem Planer genügend Informationen für die Ausführung zu geben, ohne dass das VLM selbst über präzise Geometrie und Kontakt nachdenken muss.
Der Ansatz setzt an zwei gängigen Konstruktionsweisen an, die die Forschenden beschreiben: Ein VLM wählt aus einer festen Sammlung von Fähigkeiten aus, oder es wird gebeten, Aktionen und Steuerungsprogramme zu erzeugen. Eine feste Sammlung kann die Handlungsmöglichkeiten des Roboters einschränken; bei der direkten Aktionsgenerierung muss das VLM detaillierte physikalische Zusammenhänge berücksichtigen. Bei WorldSketch erstellt das VLM stattdessen ein auf die jeweilige Aufgabe zugeschnittenes Modell, während der Planer die Bewegungen übernimmt.
Die Studie ist ein 40-seitiges arXiv-Preprint, das am November 3, 2026 veröffentlicht wurde. Das Abstract berichtet Ergebnisse für drei namentlich genannte Benchmarks, sagt aber nicht, ob die Tests mit physischen Robotern durchgeführt wurden, und belegt auch nicht, wie sich das System außerhalb dieser Tests schlagen würde. Die Ergebnisse sind daher ein vielversprechendes Zeichen innerhalb der berichteten Evaluationen, aber kein Beleg dafür, dass das System im Alltag zuverlässig im Haushalt eingesetzt werden kann.
Warum es wichtig ist
Für alle, die sich für Haushaltsroboter interessieren, bietet WorldSketch eine andere Möglichkeit, visuelles Verständnis mit Bewegung zu verbinden: Das VLM erstellt ein Modell, und ein Planer nutzt es, um zu handeln. Die berichteten Benchmark-Ergebnisse sind ermutigend. Das Abstract der Studie belegt jedoch weder, dass das System mit physischen Robotern getestet wurde, noch, wie zuverlässig es sich in gewöhnlichen Haushalten bewähren würde.
