Moises Andrade och kollegor presenterar SGV, en verifieringsteknik för multimodala språkmodeller. Först får modellen beskriva hur ett korrekt beteende ser ut, och sedan bedömer den en specifik handling utifrån den beskrivningen. Studien visar att metoden minskar modellernas tendens att godkänna handlingar alltför ofta – så kallad instämmandebias – och ökar förmågan att upptäcka misslyckanden med upp till 25 procentenheter och den totala träffsäkerheten med 14 procentenheter. När verifierarna används med en GUI-specialist i OSWorld, en diffusionspolicy i RoboMimic och en ReAct-agent i VisualWebArena förbättras uppgifternas genomförandegrad med omkring 20 procentenheter jämfört med de tidigare bästa resultaten.
Varför det spelar roll
Bättre verifiering hjälper AI-agenter att undvika falsk säkerhet, vilket gör dem mer tillförlitliga för användare av verktyg för visuell webb och robotik.
