Aditya Ramabadran, Simon Mahns et Tobias Gessler, ingénieurs chez la start-up Axiom, ont connecté GPT‑6 Astra d’OpenAI à une Toyota Corolla 2024. Le modèle, habituellement utilisé pour générer du texte et du code, recevait en direct les images de caméras installées sur le pare-brise et pouvait contrôler la direction. Un conducteur de sécurité prêt à freiner, l’IA a guidé la voiture jusqu’au guichet du drive In‑N‑Out, où l’équipe a récupéré son déjeuner. Cette démonstration montre qu’un modèle fondé sur le langage commence à prendre en charge des tâches physiques dans le monde réel.
Pourquoi c'est important
Si des modèles de langage généralistes peuvent contrôler de manière fiable des dispositifs physiques, ils pourraient être réutilisés en robotique et pour l’automatisation sans qu’il soit nécessaire de développer des logiciels de contrôle dédiés.
