قدّم فريق بحثي OmniHOI، وهو نظام يحوّل فيديوهات عادية مصوّرة بكاميرا واحدة لأشخاص يتعاملون مع أشياء إلى مسارات حركة لأيدي روبوتية بارعة. ويعالج هذا العمل مشكلة عملية: فالفيديو لا يُظهر سوى زاوية واحدة لليد، وقد يؤدي نقل حركتها مباشرة إلى روبوت إلى حركات لا تُبقيه ممسكًا بالشيء.
يقول الباحثون إن OmniHOI نجح في 53% من 60 مقطع فيديو، مقارنةً بـ28% لأفضل نظام سابق لتحويل الفيديو إلى حركة روبوتية اختبروه. وفي مجموعة اختبارات منفصلة، نقلوا 150 مسارًا مسجلًا بنظام التقاط الحركة إلى كل واحدة من خمس أيدٍ روبوتية، تراوحت درجات حرية حركتها بين 6 و22، وهو مقياس لعدد الطرق التي يمكن لليد أن تتحرك بها. وتراوحت معدلات النجاح بين 39% و89%، فيما لم تتجاوز معدلات أساليب النقل السابقة 31%.
كيف يعمل النظام
يتألف OmniHOI من ثلاث مراحل. يعيد النظام أولًا بناء حركة اليد والشيء بالاستناد إلى دلائل في الفيديو. ثم يضبط الحركة لتناسب طريقة تلامس اليد الروبوتية مع الشيء، قبل تحسينها في محاكاة فيزيائية كي تراعي الحركة الناتجة الديناميكيات على نحو أفضل.
وتقول الورقة إن المسارات الناتجة نُفذت أيضًا على روبوت حقيقي ذي ذراعين في مجموعة من المهام. لكن الملخص لا يذكر اسم الروبوت ولا يورد معدلات نجاح لتلك التجارب على الروبوت الحقيقي؛ لذا لا ينبغي اعتبار النسب المذكورة أعلاه نتائج لاستخدام فعلي في العالم الحقيقي. وهذا العمل ورقة بحثية، ولا يوضح ملخصها ما إذا كان النظام أو رمزه البرمجي متاحًا للجمهور.
ما الذي تظهره النتائج
تشير النتائج إلى أن فيديو بشريًا مصورًا بكاميرا واحدة قد يوفر عروضًا مفيدة لتدريب أيدي الروبوتات، من دون الحاجة إلى بيانات التقاط حركة منقّحة أو تدريب بالتعلّم المعزز لمهمة محددة. وتستند النتائج التي أوردها الباحثون إلى الاختبارات الواردة في ملخص الورقة، الذي لا يذكر تحققًا مستقلًا منها.
لماذا يهم
بالنسبة إلى فرق الروبوتات، تشير النتائج المعلنة إلى إمكانية تحويل فيديوهات أشخاص يتعاملون مع أشياء إلى عروض حركية لأيدي الروبوتات، بدلًا من الاعتماد على مسارات مسجلة بنظام التقاط الحركة. لكن الملخص لا يثبت مدى كفاءة النظام خارج الاختبارات المذكورة، ولا يوضح ما إذا كانت الأدوات متاحة لفرق أخرى.
