Ett team lett av Kyoungin Baik har presenterat SimVLA, ett ramverk för att träna modeller för syn, språk och handling (VLA) helt på simulerade robotdata. Systemet tränas först på två stora simulerade datamängder: SimAction, som omfattar 35 uppgifter med rörlig manipulation, och SimVQA, som kompletterar med detaljerad visuell språkhandledning. Efter ytterligare efterträning på simulerade körningar testades SimVLA på uppgifter i verkliga miljöer, som att fylla på hyllor, hälla upp vätska och städa. I testerna presterade systemet bättre än styrsystem som tränats på 50 demonstrationer från verkligheten, vilket visar att simulering kan ersätta kostsam insamling av verkliga data.
Varför det spelar roll
Om robotar kan lära sig enbart genom simulering kan tillverkare utveckla hemassistenter snabbare och billigare.
