# V-JEPA-LM veut aider l’IA vidéo à comprendre le mouvement

> Ce nouveau modèle vidéo-langage ouvert s’appuie sur des clips transformés pour apprendre à l’IA des changements comme la vitesse et la direction. Ses auteurs annoncent de meilleurs résultats que les autres modèles ouverts de sa catégorie de taille.

Oossa · 2026-11-16 · https://oossa.com/fr/v-jepa-lm-aims-to-help-video-ai-read-motion

Des chercheurs ont présenté V-JEPA-LM, une famille de modèles conçus pour répondre à des questions sur l’évolution d’une vidéo au fil du temps — et pas seulement sur les objets ou les scènes qu’elle contient. Ces modèles associent un encodeur vidéo V-JEPA 2.1 gelé à un modèle de langage de Qwen ou Llama, puis sont entraînés sur des exemples classiques associant vidéo et texte, ainsi que sur des clips transformés de manière à modifier les réponses de façon contrôlée.

Selon l’équipe, ces transformations permettent d’apprendre le mouvement sans avoir à créer de nouvelles annotations humaines. Par exemple, un clip peut être passé à l’envers ou à une autre vitesse : la réponse à une question sur la direction ou la vitesse doit alors changer. Les modèles ont été entraînés sur 4.53 millions d’échantillons publics au cours d’une principale étape d’entraînement, à raison de 32 images vidéo par clip.

## Pourquoi se concentrer sur le mouvement ?

Les chercheurs estiment que les légendes et les exemples de questions-réponses ne mentionnent souvent que quelques détails d’un clip. Un modèle peut apprendre à repérer ces détails sans exploiter les informations sur le mouvement fournies par l’encodeur vidéo. Lors d’un test, une sonde simple a pu déduire la vitesse à partir de caractéristiques V-JEPA gelées avec une précision de 87 %, tandis qu’un modèle de langage entraîné sur des exemples classiques associant vidéo et texte répondait aux questions sur la vitesse avec des résultats proches du hasard.

La solution proposée consiste à utiliser une supervision contrefactuelle : présenter deux clips apparentés, accompagnés de la même question, mais dont les réponses diffèrent parce que la vidéo a été modifiée. Selon l’article, cette méthode incite le modèle de langage à prêter attention au changement lui-même. Dans une comparaison à budget égal, l’équipe indique que cet entraînement a apporté en moyenne 4.5 points supplémentaires, et 38 points sur les questions portant sur la vitesse, dans des benchmarks sur des vidéos naturelles.

## Quels résultats a-t-il obtenus ?

Les chercheurs indiquent que leur version Qwen3-4B a obtenu un score de 72.14 sur les 12 scores issus de 11 benchmarks vidéo. C’est plus que les 61.08 attribués au modèle ouvert de classe 4B le plus performant, Molmo2-4B. L’équipe affirme également que ses modèles sont arrivés en tête dans chaque catégorie de taille évaluée. La comparaison a été menée avec les mêmes clips, prompts et réglages à 32 images. Ces résultats sont rapportés par les créateurs du modèle ; aucune validation indépendante n’est mentionnée.

Les poids et le code de Qwen3-4B sont accessibles au public. L’équipe propose également une démo dans un navigateur de sa version Llama 3.1 8B. Le téléchargement de Qwen3-4B pèse environ 10.1 GB, et sa fiche de modèle indique qu’une utilisation locale nécessite un GPU doté d’au moins 16 GB de mémoire. Bien que le modèle de langage de base soit sous licence Apache-2.0, certaines données d’entraînement sont soumises à une licence Llama 3.2 ; le dépôt précise donc des conditions de licence supplémentaires.

## Les faits

- V-JEPA-LM utilise un encodeur vidéo V-JEPA 2.1 gelé associé à des modèles de langage Qwen ou Llama, dont la taille va de 1B à 8B.
- L’équipe indique avoir entraîné les modèles sur 4.53 millions d’échantillons publics, avec 32 images vidéo par clip.
- La version Qwen3-4B a obtenu un score de 72.14 sur les 12 scores issus de 11 benchmarks, contre 61.08 pour Molmo2-4B dans l’évaluation rapportée.
- Les poids de Qwen3-4B pèsent environ 10.1 GB ; selon la fiche du modèle, une utilisation locale nécessite au moins 16 GB de mémoire GPU.

## Pourquoi c'est important

Pour les développeurs équipés d’un GPU adapté, les poids accessibles au public permettent d’essayer un modèle conçu pour répondre à des questions sur le mouvement, le timing et les changements dans un clip. Les résultats annoncés dans les benchmarks sont prometteurs, mais ne permettent pas de savoir dans quelle mesure le modèle se débrouillera avec des vidéos du quotidien ou des questions qui ne font pas partie de ces tests.

## Sources et références

1. [V-JEPA-LM: Video-Language Models That Read Dynamics Beyond Static, Text-Aligned Representations](https://arxiv.org/abs/2611.17831) – arXiv cs.CV, 2026-11-16
2. [Llama-V-JEPA-LM GitHub repository](https://github.com/kkt94/Llama-V-JEPA-LM) – Llama-V-JEPA-LM GitHub repository
3. [Keuntae Kim, Hanyang University, Artificial Intelligence Lab](https://huggingface.co/kkt94/Llama-V-JEPA-LM-Qwen3-4B) – Keuntae Kim, Hanyang University, Artificial Intelligence Lab

Dernière mise à jour: 2026-11-16
