OmniHOI将人类手部视频转化为机器人动作

一支研究团队推出了OmniHOI系统，可将普通单摄像头拍摄的人类物体操作视频转化为灵巧机器人手的运动轨迹。这项研究试图解决一个实际难题：视频只呈现手部的一个视角，直接将其中的动作转移给机器人，可能导致机器人无法稳稳抓住物体。

作者称，在60段视频片段中，OmniHOI的成功率为53%，高于他们测试的表现最佳的既有视频到机器人流程（28%）。在另一组测试中，研究人员将150条动作捕捉轨迹分别迁移到五种机器人手上，这些机器人手的自由度为6至22，即手部可运动的方式数量。成功率为39%至89%，而此前的迁移方法最高不超过31%。

流程如何运作

OmniHOI分为三个阶段。首先，它根据视频中的线索重建手部和物体的运动；随后调整动作，使其适应机器人手与物体之间的接触；最后通过物理模拟进一步优化，让最终动作更充分地考虑动力学因素。

论文称，生成的轨迹也在一台双臂真实机器人上完成了多种任务。摘要没有说明机器人型号，也未给出这些真实机器人测试的成功率，因此不应将上述百分比视为实际部署结果。这是一篇研究论文；摘要没有说明系统或代码是否公开。

结果说明了什么

这些结果表明，单摄像头拍摄的人类视频可能为机器人手提供有用的示范数据，无需依赖干净的动作捕捉数据，也无需针对具体任务进行强化学习训练。作者在论文摘要中报告了这些测试结果，但没有介绍独立验证。