Pesquisadores apresentaram o Taste-Bench, um teste com 502 perguntas que avalia se modelos de IA conseguem escolher o melhor caminho durante uma tarefa de programação ou pesquisa, antes que etapas posteriores revelem o resultado. Nos testes com 14 modelos, o GPT-5.6 Sol teve a maior pontuação, com 59,7%; só foram contabilizadas as perguntas em que o modelo acertou nas duas ordens de resposta.
A precisão média foi de 62,3% quando a pista já estava visível, mas caiu para 21% quando ela só aparecia muito mais tarde. Os pesquisadores também treinaram um modelo Qwen3.6-27B para orientar um agente separado: em 41 tarefas do SWE-bench Pro reservadas para avaliação, a taxa de sucesso subiu de 14,6% para 33,7%. A equipe afirma que o benchmark e o código são públicos.
Por que importa
Para equipes que usam agentes de programação, os resultados sugerem que passar nos testes ao fim de uma tarefa talvez não indique se o agente toma decisões que ajudam no trabalho posterior. Ainda não se sabe se o Taste-Bench prevê o desempenho em implantações cotidianas.
