由Huang Huang领衔的团队推出了RoboRender。这套系统能将模拟的机器人运动轨迹转化为逼真的RGB视频。模型利用深度视频、语言指令和机器人掩码,在保留原有动作和运动轨迹的同时,添加真实世界的纹理与背景。研究人员在抓取放置、操作关节物体和移动操作任务中测试了通过这些视频学习的策略,成功率为71%。这一成绩约为使用原始仿真渲染画面训练的7.1倍,是采用标准视觉域随机化训练的3.6倍。
为什么重要
机器人开发者可以先在仿真环境中训练控制器,再直接部署到真实机器人上,从而减少成本高昂的真实世界数据采集。