RoboRender से बने रोबोट वीडियो सिमुलेशन की कमी भरते हैं

Huang Huang के नेतृत्व वाली टीम ने RoboRender पेश किया है। यह सिस्टम सिम्युलेटेड रोबोट ट्रैजेक्टरी को वास्तविक दिखने वाले RGB वीडियो में बदलता है। मॉडल डेप्थ वीडियो, भाषा में दिए गए निर्देशों और रोबोट मास्क का इस्तेमाल करके वास्तविक दुनिया की बनावट और पृष्ठभूमि जोड़ता है, जबकि मूल गति और क्रियाएं बरकरार रहती हैं। इन वीडियो से सीखी गई नीतियों को चीजें उठाकर एक जगह से दूसरी जगह रखने, जोड़दार वस्तुओं और चलते-फिरते रोबोट से वस्तुएं संभालने जैसे कामों में परखा गया। वे 71% बार सफल रहीं। यह सीधे सिमुलेशन से बने रेंडर पर प्रशिक्षण के मुकाबले करीब 7.1 गुना और मानक विज़ुअल डोमेन रैंडमाइज़ेशन से 3.6 गुना बेहतर है।