Une équipe dirigée par Kyoungin Baik a présenté SimVLA, un cadre d’entraînement de modèles vision-langage-action (VLA) reposant entièrement sur des données de robots simulés. Le système apprend d’abord à partir de deux grands jeux de données simulées : SimAction, qui couvre 35 tâches de manipulation mobile, et SimVQA, qui ajoute une supervision visuelle et linguistique détaillée. Après un post-entraînement supplémentaire sur des séquences simulées, SimVLA a été évalué sur des tâches réelles, comme réapprovisionner des étagères, verser des liquides et faire le ménage. Lors de ces tests, il a surpassé des politiques entraînées à partir de 50 démonstrations en conditions réelles, montrant que la simulation peut remplacer la coûteuse collecte de données dans le monde réel.
Pourquoi c'est important
Si les robots peuvent apprendre uniquement par simulation, les fabricants pourraient développer des assistants domestiques plus rapidement et à moindre coût.
