NVIDIAは、運転やロボット工学のインタラクティブなシミュレーションを作成するための、Cosmos 3ファミリーのオープンウェイトモデル4種を公開した。各チェックポイントはOpenMDW1.1ライセンスのもとでHugging Faceから入手でき、ライセンス条件に従って商用・非商用のいずれにも利用できる。いずれも、学習可能なパラメーターを16 billion持つCosmos 3 Nanoを追加学習したモデルだ。
モデルごとに用途が異なる。Cosmos3-Nano-Transfer-Autoは最大11のカメラ視点から運転映像をオフラインで生成でき、3D距離計測の一種であるLiDARの対応データも作成できる。Cosmos3-Nano-Sim-Autoは、運転操作の変化に応じて、カメラとLiDARの観測データを連続したチャンクで生成する。Cosmos3-Nano-Sim-Transferはシミュレーターの操作をRGB映像に変換し、Cosmos3-Nano-Sim-Bimanualは両腕型の構成で、ロボットやカメラの動作から映像を予測する。
何をシミュレーションできる？
運転モデルでは、World Scenario Mapの操作を使って道路の構造や交通の動きを指定する。開発者は天候、照明、時刻などの条件を変えられ、任意の開始画像を使ってシーンの見た目を調整することもできる。NVIDIAによると、Transfer-Autoは最大30フレーム/秒で同期映像を生成でき、480pまたは720pで最大400フレームのクリップに対応する。さらに長いシーケンスはチャンクに分けて生成できる。
Sim-Autoは、運転ポリシーや人が操作を変えると、モデルが次の観測データを生成するという、インタラクティブな継続利用を想定している。この閉ループ動作には、シナリオの操作内容を更新するシミュレーション実行環境とレンダラーも必要だ。ロボット向けのSim-Bimanualは、YAMとAgiBotのロボット構成に対応し、操作とカメラ視点の変更の両方を制御できる。
開発に必要なもの
NVIDIA Cosmos Frameworkには、モデルを新しいセンサー、動作、データに対応させるための学習・推論レシピが用意されている。NVIDIAによると、サンプルはHopperおよびBlackwell GPU上でPyTorchまたはvLLM-Omniを使って実行できる。Hugging Faceの手順では、Sim-Bimanualのセットアップ要件としてLinux、NVIDIA GPU、Docker、NVIDIA Container Toolkitが挙げられている。NVIDIAによると、この構成はGB200 GPU 1基でテストされたが、これは最低メモリー要件を示すものではない。
これらのモデルが生成するのは観測データであり、シミュレーターのすべての機能を置き換えるわけではない。たとえばSim-Transferでは、シミュレーターが動きや物理状態を計算し、モデルはその結果の映像を描画する。モデルがポリシーの学習や評価を安定して支援できるかどうかは、引き続き研究者による検証が必要だとNVIDIAは述べている。
なぜ重要か
ロボット工学や自動運転の研究者は、さまざまなセンサーの観測データを生成したり、操作の変化に対するポリシーの反応を試したりできる。ただし、対応するNVIDIA製ハードウェアが必要で、閉ループの運転シミュレーションには実行環境も欠かせない。生成シーンが実環境での性能向上にどれほど役立つかは、今後検証する必要がある。
