# V-JEPA-LM учит ИИ понимать движение в видео

> Новая открытая видеоязыковая модель использует преобразованные ролики, чтобы научить ИИ распознавать изменения скорости и направления. По данным авторов, она набрала больше баллов, чем другие открытые модели её класса.

Oossa · 2026-11-16 · https://oossa.com/ru/v-jepa-lm-aims-to-help-video-ai-read-motion

Исследователи представили V-JEPA-LM — семейство моделей, предназначенных отвечать на вопросы о том, как видео меняется со временем, а не только о том, какие объекты или сцены в нём есть. В моделях замороженный видеокодировщик V-JEPA 2.1 объединён с языковой моделью Qwen или Llama. Для обучения используют обычные пары видео и текста, а также преобразованные ролики, в которых ответы меняются предсказуемым образом.

По словам команды, такие преобразования позволяют обучать модель распознавать движение без новых разметок, созданных людьми. Например, ролик можно перевернуть или воспроизвести с другой скоростью — тогда ответ на вопрос о направлении или скорости должен измениться. На одном основном этапе модели обучили на 4.53 миллиона общедоступных примеров, используя по 32 видеокадра на ролик.

## Почему акцент на движении?

Исследователи отмечают, что в подписях и примерах «вопрос — ответ» часто упоминаются лишь отдельные детали ролика. Модель может научиться находить их, не используя информацию о движении, которую содержит видеокодировщик. В одном тесте простой классификатор определял скорость по замороженным признакам V-JEPA с точностью 87%, тогда как языковая модель, обученная на обычных примерах с видео и текстом, отвечала на вопросы о скорости примерно на уровне случайного угадывания.

Предлагаемое решение — контрфактическое обучение: модели показывают два связанных ролика и задают один и тот же вопрос, но ответы должны различаться, поскольку видео изменили. Авторы статьи считают, что такой подход побуждает языковую модель обращать внимание на сами изменения. В сравнении при одинаковом объёме вычислений команда сообщает о среднем приросте на 4.5 балла и на 38 баллов в вопросах о скорости в тестах на естественных видео.

## Каковы результаты?

По данным исследователей, версия Qwen3-4B набрала 72.14 балла по 12 показателям в 11 видеобенчмарках. Это выше результата 61.08, указанного для сильнейшей открытой модели класса 4B — Molmo2-4B. Команда также утверждает, что её модели лидировали во всех проверенных классах размера. В сравнении использовали одинаковые ролики и запросы, а также настройки с 32 кадрами. Это результаты, опубликованные создателями модели; независимая проверка не описана.

Веса и код Qwen3-4B доступны публично; команда также предлагает браузерную демоверсию модели Llama 3.1 8B. Архив Qwen3-4B весит около 10.1 GB, а в карточке модели сказано, что для локального запуска нужна видеокарта как минимум с 16 GB памяти. Хотя языковая модель, лежащая в основе этой версии, распространяется по лицензии Apache-2.0, на некоторые обучающие данные распространяется лицензия Llama 3.2, поэтому в репозитории указаны дополнительные лицензионные условия.

## Факты

- V-JEPA-LM использует замороженный видеокодировщик V-JEPA 2.1 вместе с языковыми моделями Qwen или Llama размером от 1B до 8B.
- По данным команды, модель обучали на 4.53 миллиона общедоступных примеров, используя по 32 видеокадра на ролик.
- В опубликованном сравнении версия Qwen3-4B набрала 72.14 балла по 12 показателям в 11 бенчмарках, тогда как Molmo2-4B получила 61.08.
- Архив весов Qwen3-4B весит около 10.1 GB; согласно карточке модели, для локального запуска требуется видеопамять объёмом не менее 16 GB.

## Почему это важно

Разработчики, у которых есть подходящая видеокарта, могут попробовать модель с открытыми весами, созданную для ответов на вопросы о движении, времени и изменениях в ролике. Заявленное преимущество в бенчмарках выглядит многообещающе, но само по себе не показывает, насколько хорошо модель справится с обычными видео или вопросами за пределами этих тестов.

## Источники и ссылки

1. [V-JEPA-LM: Video-Language Models That Read Dynamics Beyond Static, Text-Aligned Representations](https://arxiv.org/abs/2611.17831) – arXiv cs.CV, 2026-11-16
2. [Llama-V-JEPA-LM GitHub repository](https://github.com/kkt94/Llama-V-JEPA-LM) – Llama-V-JEPA-LM GitHub repository
3. [Keuntae Kim, Hanyang University, Artificial Intelligence Lab](https://huggingface.co/kkt94/Llama-V-JEPA-LM-Qwen3-4B) – Keuntae Kim, Hanyang University, Artificial Intelligence Lab

Обновлено: 2026-11-16
