# OmniHOI、人の手の動画からロボットの動きを生成

> 単眼カメラで撮影した、人が物を扱う動画からロボットハンドの軌道を生成する研究パイプライン。開発チームは、従来の転写手法より成功率が高かったと報告しています。

Oossa · 2026-10-09 · https://oossa.com/ja/omnihoi-turns-human-hand-videos-into-robot-motions

出来事の日付: 2026-10-07

研究チームは、人が物を扱う様子を一般的な単眼カメラで撮影した動画から、器用なロボットハンドの動作軌道を生成するシステム「OmniHOI」を発表しました。この研究が取り組むのは、実用上の課題です。動画に映る手は一方向からしか見えず、その動きをそのままロボットに移すと、物をつかみ続けられない動作になることがあります。

著者らによると、OmniHOIは60本の動画クリップのうち53%で成功しました。比較対象とした従来の動画からロボットへの変換パイプラインのうち、最も高い成功率は28%でした。別のテストでは、モーションキャプチャで取得した150件の軌道を、自由度が6～22のロボットハンド5種類それぞれに転写しました。自由度とは、ハンドが動ける方向や方法の数を示す尺度です。成功率は39～89%で、従来の転写手法では最高でも31%でした。

## パイプラインの仕組み

OmniHOIは3段階で構成されています。まず、動画に含まれる手がかりを使って手と物体の動きを再構成します。次に、ロボットハンドと物体の接触に合うよう動きを調整し、最後に物理シミュレーションで動作を洗練させ、力学的な影響をより適切に反映します。

論文によると、生成された軌道は、さまざまなタスクで両腕を備えた実機ロボットでも実行できました。ただし、論文要旨ではロボットの名称や実機での成功率は明らかにされていません。そのため、上記の成功率を実環境での導入実績とみなすべきではありません。この研究は論文として発表されたもので、システムやコードが一般公開されているかどうかは要旨に記載されていません。

## 結果から分かること

今回の結果は、鮮明なモーションキャプチャデータやタスクごとの強化学習トレーニングを使わなくても、単眼カメラで撮影した人の動画がロボットハンドの有用なデモンストレーションになり得ることを示唆しています。著者らのテスト結果は論文要旨に記載されていますが、独立した検証については説明されていません。

## 事実

- OmniHOIは2026年10月7日にarXivへ投稿されました。
- 単眼動画クリップ60本を使ったテストで、著者らは成功率を53%と報告しています。従来の動画からロボットへの変換パイプラインで最も高かった成功率は28%でした。
- モーションキャプチャで取得した150件の軌道をロボットハンド5種類それぞれに転写したところ、成功率は39～89%でした。従来の転写手法では最高でも31%でした。
- テスト対象となった5種類のロボットハンドの自由度は、6～22でした。

## なぜ重要か

ロボット開発チームにとって、今回の結果は、モーションキャプチャの軌道に頼らず、人が物を扱う動画からロボットハンドのデモンストレーションを作れる可能性を示しています。ただし、要旨だけでは、報告されたテスト以外でどの程度機能するのか、また他のチームがツールを利用できるのかは分かりません。

## 出典と参考資料

1. [OmniHOI: Dexterous Hand-Object Interaction from Monocular Human Video](https://arxiv.org/abs/2610.10855) – arXiv cs.RO, 2026-10-09

最終更新: 2026-10-09