قدّم باحثون GazeAct، وهي قاعدة بيانات لروبوتات حقيقية وطريقة تدريب تجمع 12,000 عرض عبر 40 مهمة مع تسجيل نظرات البشر بمعدل 300 Hz. وتساعد بيانات النظر على تدريب سياسات الرؤية واللغة والفعل للتركيز على الأجسام والمواقع ذات الصلة؛ ويقول الباحثون إن الروبوتات لا تحتاج إلى مدخلات تتبّع النظر أثناء التشغيل.
في 18 مهمة في العالم الحقيقي، أفاد الباحثون بارتفاع متوسط النجاح من 48.1% إلى 58.6%، وبمكاسب تصل إلى 25 نقطة مئوية. كما أشاروا إلى تحسّن النتيجة على معيار LIBERO-Spatial، من 57.9% إلى 69.6%.
لماذا يهم
يتيح GazeAct لباحثي الروبوتات الاستفادة من حركات عين المشغّل لتوجيه التدريب من دون الحاجة إلى مستشعرات تتبّع النظر عند نشر الروبوت؛ لكن مدى استمرار هذه المكاسب خارج الاختبارات المذكورة لا يزال غير واضح.
