# V-JEPA-LM moet video-AI beweging leren lezen

> Een nieuw open video-taalmodel gebruikt bewerkte clips om AI veranderingen in bijvoorbeeld snelheid en richting te leren herkennen. Volgens de makers scoort het beter dan andere open modellen in dezelfde grootteklasse.

Oossa · 2026-11-16 · https://oossa.com/nl/v-jepa-lm-aims-to-help-video-ai-read-motion

Onderzoekers hebben V-JEPA-LM geïntroduceerd, een familie modellen die vragen moeten beantwoorden over hoe een video in de loop van de tijd verandert — en niet alleen over welke objecten of scènes erin voorkomen. De modellen combineren een bevroren V-JEPA 2.1-video-encoder met een taalmodel van Qwen of Llama. Vervolgens worden ze getraind met gewone video- en tekstvoorbeelden, aangevuld met bewerkte clips waarbij de antwoorden op een gecontroleerde manier veranderen.

Volgens het team kunnen die bewerkingen het model beweging leren herkennen zonder dat daarvoor nieuwe, door mensen geschreven labels nodig zijn. Zo kan een clip worden omgekeerd of op een andere snelheid worden afgespeeld, waardoor het antwoord op een vraag over richting of snelheid moet veranderen. De modellen zijn in één belangrijke trainingsfase getraind op 4.53 miljoen openbare voorbeelden, met 32 videoframes per clip.

## Waarom ligt de nadruk op beweging?

Volgens de onderzoekers noemen bijschriften en vraag-en-antwoordvoorbeelden vaak maar een paar details uit een clip. Een model kan die details leren herkennen zonder gebruik te maken van de bewegingsinformatie van de video-encoder. In één test kon een eenvoudige probe snelheid met 87% nauwkeurigheid aflezen uit bevroren V-JEPA-functies, terwijl een taalmodel dat was getraind met conventionele video- en tekstvoorbeelden vragen over snelheid ongeveer even goed als bij toeval beantwoordde.

Hun voorgestelde oplossing is contrafeitelijk toezicht: twee verwante clips aanbieden met dezelfde vraag, maar verschillende antwoorden omdat de video is aangepast. Volgens het artikel stimuleert dit het taalmodel om aandacht te besteden aan de verandering zelf. In een vergelijking met hetzelfde trainingsbudget leverde deze training volgens het team gemiddeld 4.5 punten extra op, en 38 punten bij vragen over snelheid in benchmarks met natuurlijke video.

## Hoe presteerde het model?

Volgens de onderzoekers behaalde hun Qwen3-4B-versie een score van 72.14 over 12 scores uit 11 videobenchmarks. Dat is hoger dan de 61.08 die voor het sterkste open model in de 4B-klasse werd gemeld, Molmo2-4B. Het team zegt dat zijn modellen in elke geteste grootteklasse bovenaan stonden. Bij de evaluatie gebruikten de vergeleken modellen dezelfde clips en prompts, en werden ze ingesteld op 32 frames. Dit zijn resultaten die door de makers van het model zijn gemeld; onafhankelijke validatie wordt niet beschreven.

De gewichten en code van Qwen3-4B zijn openbaar beschikbaar. Het team biedt ook een browserversie van zijn Llama 3.1 8B-model aan. De download van Qwen3-4B is ongeveer 10.1 GB en volgens de modelkaart is voor lokaal gebruik een GPU met minstens 16 GB geheugen nodig. Hoewel de basis van het taalmodel een Apache-2.0-licentie heeft, valt een deel van de trainingsdata onder een Llama 3.2-licentie. Daarom vermeldt de repository aanvullende licentievoorwaarden.

## De feiten

- V-JEPA-LM combineert een bevroren V-JEPA 2.1-video-encoder met Qwen- of Llama-taalmodellen van 1B tot 8B.
- Volgens het team is het model getraind op 4.53 miljoen openbare voorbeelden, met 32 videoframes per clip.
- De Qwen3-4B-versie behaalde in de gerapporteerde evaluatie een score van 72.14 over 12 scores uit 11 benchmarks, tegenover 61.08 voor Molmo2-4B.
- De gewichten van Qwen3-4B zijn ongeveer 10.1 GB groot; volgens de modelkaart is voor lokaal gebruik minstens 16 GB GPU-geheugen nodig.

## Waarom het ertoe doet

Ontwikkelaars met een geschikte GPU kunnen de openbare gewichten gebruiken om een model uit te proberen dat vragen over beweging, timing en veranderingen in een clip moet beantwoorden. De gemelde voorsprong in benchmarks is veelbelovend, maar zegt niet hoe goed het model omgaat met alledaagse video's of vragen buiten die tests.

## Bronnen en referenties

1. [V-JEPA-LM: Video-Language Models That Read Dynamics Beyond Static, Text-Aligned Representations](https://arxiv.org/abs/2611.17831) – arXiv cs.CV, 2026-11-16
2. [Llama-V-JEPA-LM GitHub repository](https://github.com/kkt94/Llama-V-JEPA-LM) – Llama-V-JEPA-LM GitHub repository
3. [Keuntae Kim, Hanyang University, Artificial Intelligence Lab](https://huggingface.co/kkt94/Llama-V-JEPA-LM-Qwen3-4B) – Keuntae Kim, Hanyang University, Artificial Intelligence Lab

Laatst bijgewerkt: 2026-11-16
