Moises Andrade et ses collègues présentent SGV, une technique de vérification pour les LLM multimodaux. Elle demande d’abord au modèle de décrire ce qu’est un comportement correct, puis d’évaluer une action précise à partir de cette description. Selon leur étude, cette méthode réduit la tendance des modèles à approuver trop facilement les actions — un phénomène appelé biais d’approbation — et augmente le taux de détection des échecs jusqu’à 25 points de pourcentage, ainsi que la précision globale de 14 points. Utilisés avec un modèle spécialisé dans les interfaces graphiques sur OSWorld, une politique de diffusion sur RoboMimic et un agent ReAct sur VisualWebArena, les vérificateurs améliorent le taux de réussite des tâches d’environ 20 points de pourcentage par rapport aux meilleurs résultats précédents.
Pourquoi c'est important
Une meilleure vérification aide les agents d’IA à éviter les fausses certitudes et à fournir des résultats plus fiables aux utilisateurs d’outils de navigation visuelle et de robotique.
