自己基準の検証でマルチモーダルLLMの同調バイアスを低減

Moises Andrade氏らは、マルチモーダルLLM向けの検証手法「SGV」を発表した。まずモデルに、正しい行動とはどのようなものかを列挙させ、そのリストを基準に個々の行動を判定する。論文によると、この手法は、行動を過剰に承認しがちなモデルの傾向（同調バイアス）を抑え、失敗の検出率を最大25ポイント、全体の精度を14ポイント高める。OSWorldのGUI特化モデル、RoboMimicの拡散方策、VisualWebArenaのReActエージェントに適用したところ、検証器によってタスク完了率は従来の最高成績を約20ポイント上回った。