Um novo estudo publicado no arXiv conclui que alguns modelos criados para tomar decisões diretamente sobre textos conseguem igualar ou superar modelos maiores de IA que geram texto e atuam como juízes em testes de avaliação comuns. Esses modelos respondem a perguntas com formatos definidos — como sim ou não, múltipla escolha ou uma nota — sem apresentar uma explicação. O artigo os chama de modelos de decisão “System-1” e investiga se eles podem avaliar respostas de IA a um custo menor que modelos como GPT-5.6 e Claude Opus 5.5.
Os pesquisadores compararam 14 modelos de decisão com quatro juízes generativos em 11 benchmarks estabelecidos. Cinco modelos de decisão tiveram resultados estatisticamente indistinguíveis dos de GPT-5.6 sem raciocínio nos testes de comparação entre pares e best-of-4 do estudo. Segundo o artigo, dois modelos, DReX-Max e d1-ultra, tiveram pontuação significativamente superior à de Claude Haiku 5.5 no JudgeBench, no LLMBar e no RewardBench 2.
As referências mudaram os resultados
Fornecer uma resposta de referência melhorou bastante as pontuações. Quando uma resposta de referência era gerada uma vez para cada prompt, 11 modelos de decisão obtiveram entre 90.3% e 93.4% no JudgeBench. Os pesquisadores afirmam que essas pontuações foram estatisticamente indistinguíveis das de GPT-5.6 com raciocínio e Claude Opus 5.5 com pensamento.
No teste best-of-16 do PPE, todos os modelos de decisão que receberam uma resposta de referência igualaram GPT-5.6 com raciocínio, custando cerca de um dezesseis avos por prompt, segundo o artigo. Essa comparação depende da disponibilidade da resposta de referência; não é um resultado de avaliação sem ela. O resumo não informa as condições de acesso aos modelos nem detalha o cálculo dos custos.
A abordagem tem limites
Os resultados não foram consistentes entre todos os modelos nem em todos os aspectos avaliados. Quando os pesquisadores acrescentaram uma instrução ao material julgado, isso mudou o veredito correto em 0–5% dos casos para cinco modelos de decisão, mas em 17–49% dos casos para os outros nove. O artigo afirma que a resistência a essas instruções depende de cada modelo, e não simplesmente do fato de ser um modelo de decisão.
O estudo também relata que dois rankings de modelos de decisão de uso geral — nenhum deles inclui tarefas de avaliação — previram de perto a precisão como juízes. Isso pode ajudar pesquisadores a selecionar modelos para testes, mas não demonstra que todos funcionarão bem como juízes. São resultados de benchmarks de um único estudo, não uma prova de que modelos de decisão possam substituir juízes generativos em aplicações do mundo real.
Por que importa
Equipes que usam IA para avaliar respostas geradas por IA podem testar opções mais baratas, sobretudo quando conseguem fornecer uma resposta de referência. Mas o estudo constatou grandes diferenças entre modelos na forma como lidaram com instruções inseridas no material, portanto seus resultados não demonstram que qualquer modelo de decisão seja uma alternativa geral e segura a um juiz que gera texto.
