Moises Andrade und seine Kolleginnen und Kollegen stellen SGV vor, ein Prüfverfahren für multimodale LLMs. Dabei soll das Modell zunächst beschreiben, wie korrektes Verhalten aussieht, und anschließend eine konkrete Aktion anhand dieser Beschreibung bewerten. Laut der Studie verringert die Methode die Neigung der Modelle, Aktionen zu oft gutzuheißen – den sogenannten Zustimmungsbias. Zugleich steigt die Fehlererkennungsrate um bis zu 25 Prozentpunkte und die Gesamtgenauigkeit um 14 Prozentpunkte. Die Prüfer verbessern die Aufgabenerfüllung gegenüber den bislang besten Ergebnissen um etwa 20 Prozentpunkte – bei einem GUI-Spezialisten in OSWorld, einer Diffusions-Policy in RoboMimic und einem ReAct-Agenten in VisualWebArena.
Warum es wichtig ist
Eine bessere Überprüfung hilft KI-Agenten, unbegründete Sicherheit zu vermeiden. Dadurch arbeiten sie für Nutzerinnen und Nutzer von visuellen Web- und Robotik-Tools zuverlässiger.
