Oossa

V-JEPA-LM让视频AI更懂运动变化

这款新开源视频语言模型通过变换视频片段,教AI理解速度、方向等变化。作者称,其得分高于同等规模的其他开源模型。

作者: Oossa 发布日期: 2 分钟阅读

CardMapr.nl · Unsplash

研究人员推出了V-JEPA-LM系列模型,旨在回答视频随时间如何变化,而不只是识别其中的物体或场景。该系列将冻结的V-JEPA 2.1视频编码器与Qwen或Llama语言模型结合,再用常规视频和文本样本,以及经过变换、答案会随之以可控方式改变的视频片段进行训练。

研究团队表示,这些变换无需新增人工编写的标签,就能帮助模型学习运动信息。例如,可以倒放视频片段或改变播放速度,这样,关于方向或速度的问题就必须得到不同答案。模型在一个主要训练阶段使用了453万条公开样本,每个片段包含32帧。

为什么关注运动?

研究人员认为,视频说明文字和问答样例往往只提及片段中的少数细节。模型可能学会找到这些细节,却没有利用视频编码器所包含的运动信息。在一项测试中,简单探针读取冻结的V-JEPA特征中的速度信息,准确率达到87%;而仅用常规视频和文本样例训练的语言模型,回答速度问题时的表现大致相当于随机猜测。

研究团队提出的解决方法是反事实监督:给模型呈现两个相关片段,并提出相同问题,但由于视频经过变换,答案有所不同。论文称,这能促使语言模型关注变化本身。在训练预算相同的对比中,团队报告称,这种训练方式在自然视频基准测试中的平均得分提高了4.5分,速度问题得分提高了38分。

表现如何?

研究人员报告称,Qwen3-4B版本在11项视频基准测试的12项评分中,总得分为72.14。高于据报同属4B级别最强开源模型Molmo2-4B的61.08。团队还表示,在他们测试的所有规模级别中,其模型都排名领先。对比模型时,评估采用了相同的视频片段、提示词和32帧设置。这些结果由模型开发者公布;文章未提及独立验证。

Qwen3-4B的权重和代码已公开,团队还提供了Llama 3.1 8B版本的浏览器演示。Qwen3-4B的下载文件约为10.1 GB,模型卡说明,本地运行需要至少16 GB显存的GPU。尽管该模型所用语言模型底座采用Apache-2.0许可,但部分训练数据受Llama 3.2许可约束,因此代码仓库还列出了额外的许可条款。

为什么重要

拥有合适GPU的开发者可以下载公开权重,试用这款专门回答视频片段中运动、时间和变化问题的模型。其基准测试领先表现值得关注,但还不能说明它在日常视频或测试范围之外的问题上表现如何。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。