Verificação própria reduz viés de concordância em modelos multimodais

Moises Andrade e colegas apresentam o SGV, uma técnica de verificação para modelos de linguagem multimodais que primeiro pede ao modelo que liste como seria um comportamento correto e, em seguida, avalie uma ação específica com base nessa lista. O artigo mostra que o método reduz a tendência dos modelos de aprovar ações em excesso — chamada de viés de concordância — e aumenta em até 25 pontos percentuais as taxas de detecção de falhas e em 14 pontos percentuais a precisão geral. Aplicados a um especialista em interfaces gráficas no OSWorld, a uma política de difusão no RoboMimic e a um agente ReAct no VisualWebArena, os verificadores melhoram a conclusão de tarefas em cerca de 20 pontos percentuais em relação aos melhores resultados anteriores.