# OmniHOI converte vídeos de mãos humanas em movimentos robóticos

> O sistema transforma vídeos feitos com uma única câmera de pessoas manipulando objetos em trajetórias para mãos robóticas. Os autores relatam taxas de sucesso superiores às de métodos anteriores de transferência.

Oossa · 2026-10-09 · https://oossa.com/pt/omnihoi-turns-human-hand-videos-into-robot-motions

Data do evento: 2026-10-07

Uma equipe de pesquisa apresentou o OmniHOI, um sistema que converte vídeos comuns, gravados com uma única câmera, de pessoas manipulando objetos em trajetórias de movimento para mãos robóticas articuladas. O trabalho aborda um problema prático: o vídeo mostra apenas uma perspectiva da mão, e traduzir diretamente esse movimento para um robô pode gerar movimentos que não conseguem manter o objeto seguro.

Os autores relatam que o OmniHOI teve sucesso em 53% de 60 clipes de vídeo, ante 28% do pipeline anterior de vídeo para robô mais eficaz entre os que testaram. Em outro conjunto de testes, transferiram 150 trajetórias capturadas por sistemas de captura de movimento para cada uma de cinco mãos robóticas, com entre 6 e 22 graus de liberdade — uma medida de quantas maneiras uma mão pode se mover. As taxas de sucesso variaram de 39% a 89%, enquanto os métodos de transferência anteriores não passaram de 31%.

## Como funciona o sistema

O OmniHOI tem três etapas. Primeiro, reconstrói os movimentos da mão e do objeto com base em pistas presentes no vídeo. Depois, ajusta o movimento para que se adapte ao contato entre a mão robótica e o objeto; por fim, refina-o em uma simulação física para representar melhor a dinâmica do movimento.

Segundo o artigo, as trajetórias resultantes também foram executadas por um robô real com dois braços em diferentes tarefas. O resumo não identifica o robô nem informa as taxas de sucesso dessas execuções no robô real; portanto, os percentuais relatados acima não devem ser interpretados como resultados de uso no mundo real. O trabalho é um artigo de pesquisa, e o resumo não especifica se o sistema ou o código está disponível publicamente.

## O que os resultados mostram

Os resultados sugerem que vídeos de pessoas gravados com uma única câmera podem fornecer demonstrações úteis para mãos robóticas, sem exigir dados limpos de captura de movimento nem treinamento de aprendizado por reforço específico para cada tarefa. Os testes dos autores são relatados no resumo do artigo, que não descreve uma validação independente.

## Os fatos

- O OmniHOI foi submetido ao arXiv em October 7, 2026.
- Em testes com 60 clipes de vídeo monoculares, os autores relatam 53% de sucesso, ante 28% do melhor pipeline anterior de vídeo para robô.
- Na transferência de 150 trajetórias de captura de movimento para cada uma de cinco mãos, o sucesso relatado variou de 39% a 89%; os métodos de transferência anteriores chegaram a, no máximo, 31%.
- As cinco mãos robóticas testadas tinham entre 6 e 22 graus de liberdade.

## Por que importa

Para equipes de robótica, os resultados relatados apontam para uma possível forma de transformar vídeos de pessoas manipulando objetos em demonstrações para mãos robóticas, em vez de depender de trajetórias de captura de movimento. Mas o resumo não demonstra até que ponto o sistema funciona além dos testes relatados nem se outras equipes podem acessar as ferramentas.

## Fontes e referências

1. [OmniHOI: Dexterous Hand-Object Interaction from Monocular Human Video](https://arxiv.org/abs/2610.10855) – arXiv cs.RO, 2026-10-09

Última atualização: 2026-10-09