# OmniHOI将人类手部视频转化为机器人动作

> 这套研究流程可将单摄像头拍摄的人类物体操作视频转化为机器人手的运动轨迹。研究作者称，其成功率高于此前的迁移方法。

Oossa · 2026-10-09 · https://oossa.com/zh/omnihoi-turns-human-hand-videos-into-robot-motions

事件日期: 2026-10-07

一支研究团队推出了OmniHOI系统，可将普通单摄像头拍摄的人类物体操作视频转化为灵巧机器人手的运动轨迹。这项研究试图解决一个实际难题：视频只呈现手部的一个视角，直接将其中的动作转移给机器人，可能导致机器人无法稳稳抓住物体。

作者称，在60段视频片段中，OmniHOI的成功率为53%，高于他们测试的表现最佳的既有视频到机器人流程（28%）。在另一组测试中，研究人员将150条动作捕捉轨迹分别迁移到五种机器人手上，这些机器人手的自由度为6至22，即手部可运动的方式数量。成功率为39%至89%，而此前的迁移方法最高不超过31%。

## 流程如何运作

OmniHOI分为三个阶段。首先，它根据视频中的线索重建手部和物体的运动；随后调整动作，使其适应机器人手与物体之间的接触；最后通过物理模拟进一步优化，让最终动作更充分地考虑动力学因素。

论文称，生成的轨迹也在一台双臂真实机器人上完成了多种任务。摘要没有说明机器人型号，也未给出这些真实机器人测试的成功率，因此不应将上述百分比视为实际部署结果。这是一篇研究论文；摘要没有说明系统或代码是否公开。

## 结果说明了什么

这些结果表明，单摄像头拍摄的人类视频可能为机器人手提供有用的示范数据，无需依赖干净的动作捕捉数据，也无需针对具体任务进行强化学习训练。作者在论文摘要中报告了这些测试结果，但没有介绍独立验证。

## 事实

- OmniHOI于2026年10月7日提交至arXiv。
- 在60段单目视频片段的测试中，作者报告的成功率为53%，最佳既有视频到机器人流程为28%。
- 将150条动作捕捉轨迹分别迁移到五种机器人手上时，报告的成功率为39%至89%；此前的迁移方法最高达到31%。
- 测试的五种机器人手自由度为6至22。

## 为什么重要

对机器人团队而言，这些报告结果展示了一种可能的路径：将人类操作物体的视频转化为机器人手的示范数据，而不是依赖动作捕捉轨迹。不过，摘要并未证明该系统在已报告测试之外的表现，也没有说明其他团队能否获取相关工具。

## 来源与参考

1. [OmniHOI: Dexterous Hand-Object Interaction from Monocular Human Video](https://arxiv.org/abs/2610.10855) – arXiv cs.RO, 2026-10-09

最后更新: 2026-10-09