Moises Andrade en collega’s presenteren SGV, een verificatiemethode voor multimodale LLM’s. Eerst laat de methode het model beschrijven hoe correct gedrag eruitziet; daarna beoordeelt het een specifieke handeling aan de hand van die beschrijving. Uit het onderzoek blijkt dat de methode de neiging van modellen om handelingen te vaak goed te keuren – ook wel instemmingsbias genoemd – vermindert. Het aantal herkende fouten stijgt met maximaal 25 procentpunt en de algehele nauwkeurigheid met 14 procentpunt. De verificateurs zijn getest met een GUI-specialist in OSWorld, een diffusiebeleid in RoboMimic en een ReAct-agent in VisualWebArena. Ze verbeteren de taakvoltooiing met ongeveer 20 procentpunt ten opzichte van de beste eerdere resultaten.
Waarom het ertoe doet
Betere verificatie voorkomt dat AI-agenten ten onrechte zeker van hun zaak zijn. Daardoor presteren ze betrouwbaarder voor gebruikers van tools voor visueel webgebruik en robotica.
