Oossa

動画の動きを読み取るAI「V-JEPA-LM」

動画を変換したクリップで、速度や方向の変化をAIに学習させる新たなオープン動画・言語モデル。開発チームは、同規模の他のオープンモデルを上回るスコアを報告している。

著者: Oossa公開日: 2 分で読める

CardMapr.nl · Unsplash

研究チームが発表した「V-JEPA-LM」は、動画に何が映っているかだけでなく、時間の経過とともにどう変化するかについて質問に答えるよう設計されたモデル群だ。V-JEPA 2.1の凍結済み動画エンコーダーと、QwenまたはLlamaの言語モデルを組み合わせ、通常の動画・テキスト例に加え、答えが意図的に変わるよう加工したクリップを使って学習させている。

チームによると、こうした変換を使えば、人が新たなラベルを書き起こさなくても動きを学習させられる。たとえば、クリップを逆再生したり、再生速度を変えたりすると、方向や速度についての質問への答えも変わる。モデルは、主な学習段階で公開データ4.53 million件を使い、1クリップあたり32フレームで学習した。

なぜ動きに注目するのか

研究チームは、キャプションや質問と回答の例では、クリップ内の限られた情報しか取り上げないことが多いと指摘する。そのためモデルは、動画エンコーダーが捉えた動きの情報を活用せず、そうした情報だけを見つけるよう学習してしまう可能性がある。あるテストでは、凍結したV-JEPAの特徴量から速度を読み取る単純なプローブの正解率は87%だった一方、従来の動画・テキスト例で学習した言語モデルが速度に関する質問に答えた成績は、ほぼ偶然と同程度だった。

研究チームが提案する解決策は「反実仮想による教師信号」だ。同じ質問に対し、動画を変えたことで答えが異なる、関連性のある2つのクリップを提示する。論文によると、こうすることで言語モデルが変化そのものに注目するよう促せる。同じ計算予算で比較したところ、この学習によって自然動画のベンチマークで平均4.5ポイント、速度に関する質問では38ポイント成績が上がったという。

性能はどうだったのか

研究チームによると、Qwen3-4B版は11の動画ベンチマークにおける12項目のスコアで72.14を記録した。最も高い成績を示したオープンな4Bクラスのモデル、Molmo2-4Bの61.08を上回り、チームはテストしたすべてのサイズ区分で自らのモデルが首位だったとしている。比較対象のモデルには、同じクリップ、プロンプト、32フレームの設定を使った。これらはモデルの開発者が報告した結果であり、独立した検証については説明されていない。

Qwen3-4Bの重みとコードは公開されており、Llama 3.1 8B版を試せるブラウザデモも提供されている。Qwen3-4Bのダウンロード容量は約10.1 GBで、モデルカードによると、ローカルで動かすには少なくとも16 GBのメモリを搭載したGPUが必要だ。同モデルの言語モデルのベース部分はApache-2.0ライセンスだが、一部の学習データにはLlama 3.2ライセンスが適用されるため、リポジトリには追加のライセンス条件も記載されている。

なぜ重要か

適切なGPUを持つ開発者は、動画内の動きやタイミング、変化に関する質問に答えるよう作られたモデルを、公開された重みを使って試せる。ベンチマークでの首位は期待できる結果だが、日常的な動画やテスト外の質問にもどれだけ対応できるかを示すものではない。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。