В новой статье на arXiv предлагается метод Geometry-Aware Token Selection (GATS): перед обработкой изображения моделью автономного вождения он использует данные LiDAR и радара, чтобы выбрать нужные фрагменты. Авторы сообщают, что при бюджете в 10% токенов GATS требовал 24 GFLOPs — в 18 раз меньше, чем плотная базовая модель, — и при этом показывал лучшие результаты на nuScenes и NAVSIM. В 739 сценариях, критичных с точки зрения намерений участников движения, доля столкновений, по их данным, составила 0,09% против 0,34% у плотной модели. Это результаты, приведённые в статье; представленный абстракт не подтверждает эффективность системы в реальных условиях вождения.
Почему это важно
Для исследователей автономного вождения заявленное снижение вычислительной нагрузки указывает на возможность обрабатывать меньше данных с камер без потери качества на бенчмарках. Однако влияние этого подхода на безопасность реальных дорог пока неизвестно.
