# V-JEPA-LM让视频AI更懂运动变化

> 这款新开源视频语言模型通过变换视频片段，教AI理解速度、方向等变化。作者称，其得分高于同等规模的其他开源模型。

Oossa · 2026-11-16 · https://oossa.com/zh/v-jepa-lm-aims-to-help-video-ai-read-motion

研究人员推出了V-JEPA-LM系列模型，旨在回答视频随时间如何变化，而不只是识别其中的物体或场景。该系列将冻结的V-JEPA 2.1视频编码器与Qwen或Llama语言模型结合，再用常规视频和文本样本，以及经过变换、答案会随之以可控方式改变的视频片段进行训练。

研究团队表示，这些变换无需新增人工编写的标签，就能帮助模型学习运动信息。例如，可以倒放视频片段或改变播放速度，这样，关于方向或速度的问题就必须得到不同答案。模型在一个主要训练阶段使用了453万条公开样本，每个片段包含32帧。

## 为什么关注运动？

研究人员认为，视频说明文字和问答样例往往只提及片段中的少数细节。模型可能学会找到这些细节，却没有利用视频编码器所包含的运动信息。在一项测试中，简单探针读取冻结的V-JEPA特征中的速度信息，准确率达到87%；而仅用常规视频和文本样例训练的语言模型，回答速度问题时的表现大致相当于随机猜测。

研究团队提出的解决方法是反事实监督：给模型呈现两个相关片段，并提出相同问题，但由于视频经过变换，答案有所不同。论文称，这能促使语言模型关注变化本身。在训练预算相同的对比中，团队报告称，这种训练方式在自然视频基准测试中的平均得分提高了4.5分，速度问题得分提高了38分。

## 表现如何？

研究人员报告称，Qwen3-4B版本在11项视频基准测试的12项评分中，总得分为72.14。高于据报同属4B级别最强开源模型Molmo2-4B的61.08。团队还表示，在他们测试的所有规模级别中，其模型都排名领先。对比模型时，评估采用了相同的视频片段、提示词和32帧设置。这些结果由模型开发者公布；文章未提及独立验证。

Qwen3-4B的权重和代码已公开，团队还提供了Llama 3.1 8B版本的浏览器演示。Qwen3-4B的下载文件约为10.1 GB，模型卡说明，本地运行需要至少16 GB显存的GPU。尽管该模型所用语言模型底座采用Apache-2.0许可，但部分训练数据受Llama 3.2许可约束，因此代码仓库还列出了额外的许可条款。

## 事实

- V-JEPA-LM采用冻结的V-JEPA 2.1视频编码器，并搭配参数规模从1B到8B的Qwen或Llama语言模型。
- 团队称，模型使用了453万条公开样本进行训练，每个视频片段包含32帧。
- 据团队公布的评估结果，Qwen3-4B版本在11项基准测试的12项评分中得分为72.14，Molmo2-4B为61.08。
- Qwen3-4B权重约为10.1 GB；模型卡称，本地运行至少需要16 GB显存。

## 为什么重要

拥有合适GPU的开发者可以下载公开权重，试用这款专门回答视频片段中运动、时间和变化问题的模型。其基准测试领先表现值得关注，但还不能说明它在日常视频或测试范围之外的问题上表现如何。

## 来源与参考

1. [V-JEPA-LM: Video-Language Models That Read Dynamics Beyond Static, Text-Aligned Representations](https://arxiv.org/abs/2611.17831) – arXiv cs.CV, 2026-11-16
2. [Llama-V-JEPA-LM GitHub repository](https://github.com/kkt94/Llama-V-JEPA-LM) – Llama-V-JEPA-LM GitHub repository
3. [Keuntae Kim, Hanyang University, Artificial Intelligence Lab](https://huggingface.co/kkt94/Llama-V-JEPA-LM-Qwen3-4B) – Keuntae Kim, Hanyang University, Artificial Intelligence Lab

最后更新: 2026-11-16
