Runwayは、重みとソースコードをApache 2.0ライセンスの下で公開するロボット制御モデル「Praxis-1」をリリースした。同ライセンスは商用利用を認めている。モデルはカメラ映像、テキストの指示、ロボットの位置情報を受け取り、場面がどう変化するか、ロボットがどのように動くべきかを予測する。カメラの新しいフレームが届くたびに制御を調整する。
RunwayはPraxis-1を9月下旬に初めて発表したが、当初は選ばれたパートナーにのみ提供していた。その後、ロボット企業のStandard Bots、Noble Machines、Ultraが、人型ロボットや産業用アーム、両腕型の倉庫ロボットなど、異なるシステムでテストした。開発者は登録し、アクセス条件に同意すればHugging Faceからダウンロードできる。コードはGitHubで公開されている。
性能は？
Praxis-1は、物体の動きや相互作用を理解するよう訓練された動画モデルを基盤としている。Runwayは、人間の動作を映した動画とロボットのデータを使って追加学習し、一般的な映像からモデルが学んだ知識を活用できるようにした。この手法でロボット固有のデータをどれだけ減らせるかは、まだ明らかになっていない。Praxis-1をFrankaアーム向けに調整するため、RunwayはDROIDのロボット記録映像を約277時間使用し、両腕型ロボット向けには1,400〜2,600時間分のデータを使った。
120種類の物体の仕分け、つかみ、積み重ねタスクを試すNvidiaのシミュレーションベンチマーク「RoboLab-120」で、Praxis-1の成功率は46.2%だった。同じ条件でのFLUX 3 Actionの成功率は42.9%。場面の変化を予測して動作を導くシステム群「World Action Models」の中でPraxis-1は首位、全体では5位だった。テストを実施したのはRunwayで、結果は第三者による検証を受けていない。
実機のFrankaアームでは、Praxis-1は10種類のタスクで100回試行し、88回成功した。FLUX 3 Actionの成功は80回だった。また、以前の訓練に含まれていないロボットプラットフォームを使った別のシミュレーションでは、ロボットデータ約95時間で追加学習した後、Praxis-1は80%の成功率を達成した。Runwayによると、Googleが開発した元のRT-1は同じベンチマークで52.4%だった。
どんな制約がある？
新しいロボットで使うには、ベースモデルに追加学習が必要だ。標準版の実行にはメモリ80 GBのGPUが求められる。Runwayは圧縮版なら32 GBのRTX 5090で動作すると見積もっているが、ピーク時のメモリ使用量は測定していない。またRunwayによると、Praxis-1は見た目が似た物体を混同したり、曖昧な指示に対応できなかったりすることがある。複雑なタスクは明確な手順に分ける必要がある。モデルはまだ、長い動作の一連の流れを自力で安定して計画できないためだ。
なぜ重要か
ロボット開発者はPraxis-1をダウンロードし、商用利用が認められたライセンスの下でコードを調べたり改変したりできる。ただし、新しいロボットで使うにはベースモデルへの追加学習が必要だ。Runwayの結果は有望だが、自社で実施したテストで第三者による検証はない。他の開発者の環境でも同様に機能するのか、動画による事前学習で本当に必要なデータ量を減らせるのかは、まだ分からない。
