Un grupo de investigadores presentó Taste-Bench, una prueba de 502 preguntas que evalúa si los modelos de IA pueden elegir el mejor rumbo durante una tarea de programación o investigación, antes de que los pasos posteriores revelen el resultado. En las pruebas con 14 modelos, GPT-5.6 Sol obtuvo la puntuación más alta, con un 59.7%; una pregunta solo se contabilizaba como correcta si el modelo acertaba con ambos órdenes de respuesta.
La precisión media fue del 62.3% cuando la pista ya estaba a la vista, pero cayó al 21% cuando solo aparecía mucho más adelante. Los investigadores también entrenaron un modelo Qwen3.6-27B para que asesorara a otro agente: en 41 tareas de SWE-bench Pro reservadas para la evaluación, la tasa de éxito subió del 14.6% al 33.7%. El equipo afirma que el benchmark y el código son públicos.
Por qué importa
Para los equipos que usan agentes de programación, los resultados sugieren que superar las pruebas al final de una tarea no demuestra que un agente tome decisiones útiles para el trabajo posterior. Aún no se sabe si Taste-Bench permite predecir el rendimiento en usos cotidianos.
