# V-JEPA-LM quer ensinar a IA a interpretar movimentos em vídeos

> Um novo modelo aberto de vídeo e linguagem usa clipes transformados para ensinar a IA sobre mudanças de velocidade e direção. Os autores relatam pontuações mais altas que as de outros modelos abertos da mesma categoria de tamanho.

Oossa · 2026-11-16 · https://oossa.com/pt/v-jepa-lm-aims-to-help-video-ai-read-motion

Pesquisadores apresentaram o V-JEPA-LM, uma família de modelos desenvolvida para responder a perguntas sobre como um vídeo muda ao longo do tempo — e não apenas sobre os objetos ou cenários que aparecem nele. Os modelos combinam um codificador de vídeo V-JEPA 2.1 congelado com um modelo de linguagem Qwen ou Llama. Em seguida, são treinados com exemplos comuns de vídeo e texto, além de clipes transformados cujas respostas mudam de forma controlada.

A equipe afirma que essas transformações podem ensinar sobre movimento sem exigir novos rótulos escritos por pessoas. Por exemplo, um clipe pode ser invertido ou reproduzido em outra velocidade, criando uma versão em que a resposta a uma pergunta sobre direção ou velocidade precisa mudar. Os modelos foram treinados com 4.53 milhões de amostras públicas em uma etapa principal de treinamento, usando 32 quadros de vídeo por clipe.

## Por que se concentrar no movimento?

Os pesquisadores argumentam que legendas e exemplos de perguntas e respostas costumam mencionar apenas alguns detalhes de um clipe. Um modelo pode aprender a identificar esses detalhes sem aproveitar as informações sobre movimento do codificador de vídeo. Em um teste, um classificador simples conseguiu identificar a velocidade a partir de características congeladas do V-JEPA com 87% de precisão, enquanto um modelo de linguagem treinado com exemplos convencionais de vídeo e texto respondeu a perguntas sobre velocidade com um desempenho próximo ao do acaso.

A solução proposta é a supervisão contrafactual: apresentar dois clipes relacionados com a mesma pergunta, mas respostas diferentes porque o vídeo foi alterado. Segundo o artigo, isso incentiva o modelo de linguagem a prestar atenção à própria mudança. Em uma comparação com o mesmo orçamento de treinamento, a equipe relata que esse método acrescentou, em média, 4.5 pontos e 38 pontos nas perguntas sobre velocidade em benchmarks com vídeos naturais.

## Qual foi o desempenho?

Os pesquisadores relatam que a versão Qwen3-4B obteve 72.14 no conjunto de 12 pontuações de 11 benchmarks de vídeo. O resultado supera os 61.08 atribuídos ao mais forte modelo aberto da categoria 4B, o Molmo2-4B, e a equipe afirma que seus modelos lideraram todas as categorias de tamanho avaliadas. A avaliação usou os mesmos clipes, prompts e configuração de 32 quadros para os modelos comparados. Esses resultados foram divulgados pelos criadores do modelo; o artigo não descreve uma validação independente.

Os pesos e o código do Qwen3-4B estão disponíveis publicamente, e a equipe também oferece uma demonstração no navegador da versão Llama 3.1 8B. O download do Qwen3-4B tem cerca de 10.1 GB, e o cartão do modelo informa que o uso local requer uma GPU com pelo menos 16 GB de memória. Embora a base de modelo de linguagem dessa versão tenha licença Apache-2.0, alguns dados de treinamento estão sujeitos a uma licença Llama 3.2; por isso, o repositório lista termos de licença adicionais.

## Os fatos

- O V-JEPA-LM combina um codificador de vídeo V-JEPA 2.1 congelado com modelos de linguagem Qwen ou Llama, de 1B a 8B.
- A equipe relata ter treinado os modelos com 4.53 milhões de amostras públicas, usando 32 quadros de vídeo por clipe.
- Na avaliação divulgada, a versão Qwen3-4B obteve 72.14 no conjunto de 12 pontuações de 11 benchmarks, contra 61.08 do Molmo2-4B.
- Os pesos do Qwen3-4B têm cerca de 10.1 GB; segundo o cartão do modelo, o uso local requer uma GPU com pelo menos 16 GB de memória.

## Por que importa

Para desenvolvedores com uma GPU adequada, os pesos públicos oferecem uma forma de testar um modelo criado para responder a perguntas sobre movimento, tempo e mudanças em um clipe. A liderança relatada nos benchmarks é promissora, mas não demonstra como o modelo se sairia com vídeos do dia a dia ou perguntas fora desses testes.

## Fontes e referências

1. [V-JEPA-LM: Video-Language Models That Read Dynamics Beyond Static, Text-Aligned Representations](https://arxiv.org/abs/2611.17831) – arXiv cs.CV, 2026-11-16
2. [Llama-V-JEPA-LM GitHub repository](https://github.com/kkt94/Llama-V-JEPA-LM) – Llama-V-JEPA-LM GitHub repository
3. [Keuntae Kim, Hanyang University, Artificial Intelligence Lab](https://huggingface.co/kkt94/Llama-V-JEPA-LM-Qwen3-4B) – Keuntae Kim, Hanyang University, Artificial Intelligence Lab

Última atualização: 2026-11-16
