スタートアップ企業Axiomのエンジニア、Aditya Ramabadran、Simon Mahns、Tobias Gesslerは、OpenAIのGPT‑6 Astraを2024年型Toyota Corollaに接続した。通常は文章やコードを生成するこのモデルに、フロントガラスのカメラ映像をリアルタイムで入力し、ステアリングを操作させた。安全運転担当者がいつでもブレーキを踏める状態で見守るなか、AIは車をIn‑N‑Outの受け取り窓口まで誘導し、チームは昼食を受け取った。この実演は、言語ベースのモデルが現実世界の物理的な作業を担い始めていることを示している。
なぜ重要か
汎用言語モデルが物理デバイスを安定して制御できるようになれば、専用の制御ソフトを開発せずに、ロボット工学や自動化に転用できる可能性がある。