Oossa

V-JEPA-LM soll KI helfen, Bewegungen in Videos zu verstehen

Ein neues offenes Video-Sprachmodell nutzt veränderte Clips, um KI Änderungen wie Geschwindigkeit und Richtung beizubringen. Laut den Entwicklern erzielt es bessere Ergebnisse als andere offene Modelle seiner Größenklasse.

Von Von Oossa veröffentlicht: 2 Min. Lesezeit

CardMapr.nl · Unsplash

Forschende haben V-JEPA-LM vorgestellt, eine Modellfamilie, die Fragen dazu beantworten soll, wie sich ein Video im Laufe der Zeit verändert – und nicht nur dazu, welche Objekte oder Szenen darin vorkommen. Die Modelle kombinieren einen eingefrorenen V-JEPA-2.1-Videoencoder mit einem Sprachmodell von Qwen oder Llama. Trainiert werden sie mit gewöhnlichen Video-Text-Beispielen sowie veränderten Clips, bei denen sich die richtige Antwort auf kontrollierte Weise ändert.

Laut dem Team können solche Veränderungen dabei helfen, Bewegungen ohne zusätzliche, von Menschen verfasste Labels zu vermitteln. Ein Clip kann etwa rückwärts oder mit einer anderen Geschwindigkeit abgespielt werden. Dadurch muss sich die Antwort auf eine Frage zu Richtung oder Geschwindigkeit ändern. In einer zentralen Trainingsphase wurden die Modelle mit 4,53 Millionen öffentlichen Beispielen trainiert, wobei jeder Clip 32 Videoframes umfasste.

Warum liegt der Fokus auf Bewegung?

Die Forschenden argumentieren, dass Bildbeschreibungen und Frage-Antwort-Beispiele oft nur wenige Details eines Clips erwähnen. Ein Modell kann lernen, diese Details zu finden, ohne die Informationen des Videoencoders über Bewegungen zu nutzen. In einem Test konnte ein einfacher Probe-Klassifikator die Geschwindigkeit anhand eingefrorener V-JEPA-Features mit 87 % Genauigkeit ablesen. Ein Sprachmodell, das mit herkömmlichen Video-Text-Beispielen trainiert wurde, beantwortete Fragen zur Geschwindigkeit dagegen ungefähr auf Zufallsniveau.

Als Lösung schlagen die Forschenden kontrafaktisches Training vor: Zwei verwandte Clips werden mit derselben Frage, aber unterschiedlichen Antworten präsentiert, weil das Video verändert wurde. Laut der Studie regt das das Sprachmodell dazu an, auf die Veränderung selbst zu achten. Bei einem Vergleich mit gleichem Trainingsbudget erzielte das Team mit diesem Training in Benchmarks mit natürlichen Videos im Schnitt 4,5 Punkte mehr und bei Fragen zur Geschwindigkeit 38 Punkte mehr.

Wie schnitt das Modell ab?

Laut den Forschenden erreichte ihre Qwen3-4B-Version über 12 Bewertungen aus 11 Video-Benchmarks hinweg einen Wert von 72,14. Damit lag sie über dem Wert von 61,08, den das stärkste offene Modell der 4B-Klasse, Molmo2-4B, erzielte. Das Team gibt an, dass seine Modelle in jeder getesteten Größenklasse führend waren. Für den Vergleich wurden dieselben Clips und Prompts sowie eine Einstellung mit 32 Frames verwendet. Es handelt sich um Ergebnisse, die von den Entwicklern des Modells veröffentlicht wurden; eine unabhängige Überprüfung wird nicht beschrieben.

Die Gewichte und der Code von Qwen3-4B sind öffentlich verfügbar. Außerdem bietet das Team eine Browser-Demo seiner Version Llama 3.1 8B an. Der Download von Qwen3-4B ist etwa 10,1 GB groß. Laut Modellkarte ist für die lokale Nutzung eine GPU mit mindestens 16 GB Speicher erforderlich. Obwohl die Sprachmodell-Basis dieses Modells unter der Apache-2.0-Lizenz steht, unterliegen einige Trainingsdaten einer Llama-3.2-Lizenz. Deshalb führt das Repository zusätzliche Lizenzbedingungen auf.

Warum es wichtig ist

Für Entwicklerinnen und Entwickler mit einer ausreichend leistungsfähigen GPU bieten die öffentlichen Gewichte die Möglichkeit, ein Modell auszuprobieren, das Fragen zu Bewegung, Zeitabläufen und Veränderungen in einem Clip beantworten soll. Der gemeldete Vorsprung in den Benchmarks ist vielversprechend, sagt aber nicht aus, wie gut das Modell mit alltäglichen Videos oder Fragen außerhalb dieser Tests zurechtkommt.

War dieser Artikel hilfreich?
Teilen

Als Nächstes lesen

Oossa · Newsletter

Die KI-Woche, erklärt

Jeden Montag: die Nachrichten, die man kennen sollte – verständlich. Kostenlos, kein Spam.