Un nuevo estudio de arXiv concluye que algunos modelos diseñados para tomar decisiones directas sobre textos pueden igualar o superar a jueces de IA más grandes que generan texto en pruebas de evaluación habituales. Estos modelos responden a preguntas con formatos definidos —como sí o no, opción múltiple o una puntuación— sin redactar una explicación. El artículo los denomina modelos de decisión «System-1» y analiza si pueden evaluar respuestas de IA a menor costo que modelos como GPT-5.6 y Claude Opus 5.5.
Los investigadores compararon 14 modelos de decisión con cuatro jueces generativos en 11 pruebas de referencia consolidadas. Cinco modelos de decisión no mostraron diferencias estadísticamente significativas frente a GPT-5.6 sin razonamiento en las pruebas por pares y de mejor entre 4 del estudio. Según el artículo, dos modelos, DReX-Max y d1-ultra, obtuvieron puntuaciones significativamente más altas que Claude Haiku 5.5 en JudgeBench, LLMBar y RewardBench 2.
Las respuestas de referencia cambiaron los resultados
Proporcionar una respuesta de referencia mejoró sustancialmente las puntuaciones. Al generar una respuesta de referencia para cada indicación, 11 modelos de decisión obtuvieron entre el 90.3% y el 93.4% en JudgeBench. Los investigadores afirman que esas puntuaciones no mostraron diferencias estadísticamente significativas frente a GPT-5.6 con razonamiento y Claude Opus 5.5 con capacidad de pensar.
En la prueba de mejor entre 16 de PPE, todos los modelos de decisión que recibieron una respuesta de referencia igualaron a GPT-5.6 con razonamiento y costaron aproximadamente una dieciseisava parte por indicación, según el artículo. Esa comparación presupone que se dispone de la respuesta de referencia; no es un resultado para evaluaciones sin ella. El resumen no detalla las condiciones de acceso a los modelos ni el cálculo de costos.
El método tiene limitaciones
Los resultados no fueron uniformes entre todos los modelos ni en todos los aspectos analizados. Cuando los investigadores añadieron una instrucción al material evaluado, esto cambió el veredicto correcto en entre el 0% y el 5% de los casos para cinco modelos de decisión, pero en entre el 17% y el 49% para los otros nueve. El artículo señala que la resistencia a esas instrucciones depende de cada modelo, no simplemente de que sea un modelo de decisión.
El estudio también informa que dos tablas de clasificación de modelos de decisión de propósito general, ninguna de las cuales incluye tareas de evaluación, permitían predecir con bastante precisión el desempeño como juez. Esto podría ayudar a los investigadores a preseleccionar modelos, pero no demuestra que todos vayan a funcionar bien como jueces. Se trata de resultados de pruebas de referencia de un solo estudio, no de una prueba de que los modelos de decisión puedan sustituir a los jueces generativos en todos los usos reales.
Por qué importa
Los equipos que usan IA para calificar respuestas generadas por IA podrían probar opciones más económicas, sobre todo si pueden proporcionar una respuesta de referencia. Sin embargo, el estudio detectó grandes diferencias entre modelos al manejar instrucciones insertadas, por lo que sus resultados no demuestran que un modelo de decisión concreto sea un sustituto seguro y general de un juez que genera texto.
