Runway发布了机器人控制模型Praxis-1，其模型权重和源代码采用Apache 2.0许可证开放，允许商业使用。该模型接收摄像头画面、文字指令和机器人位置信息，然后预测场景将如何变化，以及机器人应执行哪些动作。随着新的摄像头画面传入，它会相应调整控制指令。
Runway于9月下旬首次推出Praxis-1，最初仅向部分合作伙伴开放。机器人公司Standard Bots、Noble Machines和Ultra随后在不同系统上测试了该模型，包括人形机器人、工业机械臂和双臂仓储机器人。开发者注册并同意访问条款后，可从Hugging Face下载该模型；其代码托管在GitHub。
性能如何？
Praxis-1基于一个经过训练、能够理解物体运动及相互作用的视频模型。Runway利用人类动作视频和机器人数据对其进行微调，旨在让模型运用从普通视频中学到的知识。这种方法或许能减少对机器人专用数据的需求，但目前尚未得到证实：Runway仍使用了约277小时的DROID机器人录像，将Praxis-1适配到Franka机械臂；适配一款双臂机器人则使用了1,400至2,600小时的素材。
在Nvidia的RoboLab-120模拟基准测试中，Praxis-1的成功率为46.2%。该测试涵盖120项物体分类、抓取和堆叠任务。在相同条件下，FLUX 3 Action的成功率为42.9%。在用于预测场景变化并据此指导动作的World Action Models（世界动作模型）这一类别中，Praxis-1排名第一；总排名第五。测试由Runway进行，结果尚未经过独立核验。
在真实的Franka机械臂上，Praxis-1在十项任务中100次尝试成功88次，FLUX 3 Action则成功80次。在另一项模拟测试中，所用机器人平台未参与此前的训练；Praxis-1经过约95小时机器人数据的微调后，成功率达到80%。Runway称，Google最初的RT-1在同一基准测试中的得分为52.4%。
有哪些局限？
基础模型需要经过额外训练，才能适配新机器人。标准版需要配备80 GB内存的GPU。Runway估计，压缩版可在配备32 GB内存的RTX 5090上运行，不过尚未测量其峰值内存占用。Runway还表示，Praxis-1可能会混淆外观相似的物体，也难以处理含糊的指令。复杂任务需要拆解为清晰的步骤，因为该模型目前还无法可靠地独立规划较长的动作序列。
为什么重要
机器人开发者可以下载Praxis-1，并依据允许商业使用的许可证查看或改造其代码，不过基础模型需要针对每种新机器人进行额外训练。Runway公布的结果颇具前景，但测试由公司自行进行，尚未经过独立核验。因此，该模型在其他开发者的环境中表现如何，以及视频预训练是否真的能减少数据需求，目前仍不清楚。
