Investigadores presentaron V-JEPA-LM, una familia de modelos diseñados para responder preguntas sobre cómo cambia un video con el tiempo, y no solo sobre los objetos o las escenas que aparecen. Los modelos combinan un codificador de video V-JEPA 2.1 congelado con un modelo de lenguaje de Qwen o Llama. Después, se entrenan con ejemplos habituales de video y texto, además de clips transformados cuyas respuestas cambian de forma controlada.
El equipo afirma que esas transformaciones pueden enseñar movimiento sin necesidad de crear nuevas etiquetas escritas por personas. Por ejemplo, se puede invertir un clip o reproducirlo a otra velocidad, de modo que cambie la respuesta a una pregunta sobre la dirección o la velocidad. Los modelos se entrenaron con 4.53 millones de muestras públicas en una etapa principal, usando 32 fotogramas por clip.
¿Por qué centrarse en el movimiento?
Los investigadores sostienen que los pies de foto y los ejemplos de preguntas y respuestas suelen mencionar solo unos pocos detalles de cada clip. Un modelo puede aprender a encontrar esos detalles sin aprovechar la información sobre el movimiento que ofrece el codificador de video. En una prueba, una sonda sencilla pudo extraer la velocidad de las características congeladas de V-JEPA con una precisión del 87%, mientras que un modelo de lenguaje entrenado con ejemplos convencionales de video y texto respondió preguntas sobre velocidad con una precisión cercana al azar.
La solución que proponen es la supervisión contrafactual: presentar dos clips relacionados con la misma pregunta, pero respuestas distintas porque se modificó el video. Según el artículo, esto anima al modelo de lenguaje a prestar atención al cambio en sí. En una comparación con presupuestos equivalentes, el equipo informa que este entrenamiento mejoró los resultados en 4.5 puntos de promedio y en 38 puntos en preguntas sobre velocidad en pruebas de referencia con videos naturales.
¿Qué resultados obtuvo?
Los investigadores informan que su versión Qwen3-4B obtuvo una puntuación de 72.14 en 12 métricas de 11 pruebas de referencia de video. Superó así los 61.08 atribuidos al modelo abierto más sólido de la categoría 4B, Molmo2-4B, y el equipo afirma que sus modelos lideraron todas las categorías de tamaño que evaluó. La evaluación usó los mismos clips, instrucciones y configuración de 32 fotogramas para los modelos comparados. Estos son resultados comunicados por los creadores del modelo; no se describe una validación independiente.
Los pesos y el código de Qwen3-4B están disponibles públicamente, y el equipo también ofrece una demostración en el navegador de su versión Llama 3.1 8B. La descarga de Qwen3-4B ocupa unos 10.1 GB, y la ficha del modelo indica que para usarlo localmente se necesita una GPU con al menos 16 GB de memoria. Aunque la base del modelo de lenguaje tiene licencia Apache-2.0, algunos datos de entrenamiento están sujetos a una licencia Llama 3.2, por lo que el repositorio especifica condiciones adicionales.
Por qué importa
Para los desarrolladores que tengan una GPU adecuada, los pesos públicos ofrecen una forma de probar un modelo creado para responder preguntas sobre movimiento, ritmo y cambios en un clip. La ventaja comunicada en las pruebas de referencia es prometedora, pero no demuestra qué tal funcionará el modelo con videos cotidianos o preguntas ajenas a esas pruebas.