یک گروه پژوهشی OmniHOI را معرفی کرده است؛ سامانه‌ای که ویدئوهای معمولیِ تک‌دوربینه از دست‌کاری اشیا به‌دست انسان را به مسیرهای حرکتی برای دست‌های ماهر ربات تبدیل می‌کند. این پژوهش به مسئله‌ای عملی می‌پردازد: ویدئو فقط یک زاویه از دست را نشان می‌دهد و ترجمه مستقیم حرکت آن به ربات ممکن است به حرکاتی منجر شود که نمی‌توانند شیء را محکم نگه دارند.
پژوهشگران می‌گویند OmniHOI در 53% از 60 کلیپ ویدئویی موفق بوده است؛ در مقایسه با 28% برای قوی‌ترین سامانه پیشینِ تبدیل ویدئو به حرکت ربات که آزمایش کردند. در مجموعه آزمایش جداگانه‌ای، آن‌ها 150 مسیر حرکتی ثبت‌شده با موشن‌کپچر را به هر یک از پنج دست ربات منتقل کردند. این دست‌ها بین 6 تا 22 درجه آزادی داشتند؛ معیاری برای سنجش تعداد حالت‌هایی که یک دست می‌تواند به خود بگیرد. نرخ موفقیت از 39% تا 89% متغیر بود، در حالی که روش‌های پیشین انتقال حرکت به بیش از 31% نرسیدند.
سازوکار سامانه
OmniHOI سه مرحله دارد. ابتدا با استفاده از سرنخ‌های موجود در ویدئو، حرکت دست و شیء را بازسازی می‌کند. سپس حرکت را با نحوه تماس دست ربات با شیء تطبیق می‌دهد و در ادامه، آن را در یک شبیه‌سازی فیزیکی بهینه می‌کند تا حرکت نهایی بهتر با دینامیک سازگار باشد.
مقاله می‌گوید مسیرهای حرکتی حاصل در طیفی از وظایف، روی یک ربات واقعیِ دو‌بازویی نیز اجرا شده‌اند. چکیده نام ربات را ذکر نمی‌کند و نرخ موفقیت این آزمایش‌های واقعی را هم ارائه نمی‌دهد؛ بنابراین نباید درصدهای بالا را نتیجه استقرار در دنیای واقعی تلقی کرد. این اثر یک مقاله پژوهشی است و در چکیده مشخص نشده که سامانه یا کد آن در دسترس عموم قرار دارد یا نه.
نتایج چه می‌گویند؟
نتایج نشان می‌دهد ویدئوی انسان با یک دوربین می‌تواند نمونه‌ای کاربردی برای آموزش دست‌های ربات فراهم کند، بی‌آنکه به داده‌های دقیق موشن‌کپچر یا آموزش تقویتیِ ویژه هر وظیفه نیاز باشد. نتایج آزمایش‌های پژوهشگران در چکیده مقاله گزارش شده است؛ اما در آن به اعتبارسنجی مستقل اشاره‌ای نشده است.
چرا مهم است
برای گروه‌های رباتیک، نتایج گزارش‌شده به راهی احتمالی برای تبدیل ویدئوهای کار انسان با اشیا به نمونه‌های حرکتی برای دست ربات اشاره دارد؛ روشی که می‌تواند جایگزین اتکا به مسیرهای موشن‌کپچر شود. با این حال، چکیده روشن نمی‌کند سامانه فراتر از آزمایش‌های گزارش‌شده تا چه اندازه خوب عمل می‌کند یا ابزارهای آن در دسترس گروه‌های دیگر هستند یا نه.
