# WorldSketch моделирует мир, прежде чем действовать

> Новый подход к робототехнике поручает VLM набросать нужные для задачи объекты и движения, а затем геометрический планировщик определяет, как роботу двигаться.

Oossa · 2026-11-03 · https://oossa.com/ru/worldsketch-builds-robot-world-models-before-acting

Исследовательская группа представила WorldSketch — робототехническую систему, в которой модель «зрение — язык» (VLM) сначала строит упрощённую модель окружения, а не сразу выбирает движения робота. Она определяет важные для задачи объекты, способы взаимодействия с ними и возможные движения. Затем геометрический планировщик использует эту модель, чтобы спланировать контакт с объектами и движения всего робота.

По данным исследователей, при обучении без дополнительных примеров система показала успешность 91% на RoboCasa, 97% на LIBERO-PRO и 76% в навигационном тесте R2R-CE. На RoboCasa WorldSketch превзошла ближайшую по результатам базовую систему без дополнительного обучения на 58 процентных пунктов, используя при этом в десять раз меньше входных токенов VLM. На LIBERO-PRO она опередила CaP-X на 82 процентных пункта. В навигации система показала такую же успешность, как агенты с пошаговым управлением через VLM, но использовала в шесть раз меньше входных токенов. Это результаты, представленные авторами статьи, а не независимая оценка.

## Как система корректирует план?

WorldSketch не считает первый набросок окончательным. VLM может обращаться к инструментам восприятия, чтобы проверить, правильно ли она поняла обстановку, а обратная связь от робота во время выполнения задачи помогает выявить ошибочные прогнозы. После этого система может уточнить неуверенно смоделированные элементы и попробовать снова. Задача в том, чтобы дать планировщику достаточно информации для действий, не требуя от VLM самостоятельно рассуждать о точной геометрии и контактах.

Как отмечают исследователи, обычно используют один из двух подходов: VLM выбирает действие из фиксированного набора навыков либо генерирует действия и управляющие программы. Фиксированный набор ограничивает возможности робота, а при прямой генерации действий VLM должна учитывать множество физических деталей. В WorldSketch модель отвечает за создание модели, адаптированной к конкретной задаче, а планировщик — за движение.

Статья объёмом 40 страниц опубликована на arXiv 3 ноября 2026 года. В аннотации сообщаются результаты на трёх названных тестовых наборах, но не уточняется, проводилась ли оценка на физических роботах, и не показано, как система справится за пределами этих тестов. Поэтому результаты говорят о перспективности подхода в рамках проведённых испытаний, но не доказывают, что он надёжно работает в обычном домашнем быту.

## Факты

- WorldSketch показала успешность 91% на RoboCasa, 97% на LIBERO-PRO и 76% в навигационном тесте R2R-CE.
- На RoboCasa система превзошла ближайшую по результатам базовую систему без дополнительного обучения на 58 процентных пунктов и использовала в 10 раз меньше входных токенов VLM.
- По данным статьи, на LIBERO-PRO преимущество над CaP-X составило 82 процентных пункта.
- В навигации WorldSketch показала такую же успешность, как агенты с пошаговым управлением через VLM, используя в шесть раз меньше входных токенов.

## Почему это важно

Для тех, кто интересуется домашними роботами, WorldSketch предлагает иной способ связать визуальное понимание с движением: VLM строит модель, а планировщик использует её для действий. Результаты тестов обнадёживают, однако в аннотации статьи не указано, испытывали ли систему на физических роботах и насколько надёжно она справится с обычной домашней обстановкой.

## Источники и ссылки

1. [WorldSketch: Sketching World Models for Zero-Shot Mobile Manipulation](https://arxiv.org/abs/2611.00513) – arXiv cs.RO, 2026-11-03

Обновлено: 2026-11-03