# Taste-Bench revela dificuldade de agentes de IA em decisões de longo prazo

> Um benchmark com 502 perguntas testa se a IA consegue escolher o melhor caminho antes de saber o resultado. O modelo mais bem avaliado marcou 59,7%.

Oossa · 2026-10-18 · https://oossa.com/pt/taste-bench-finds-ai-agents-struggle-with-long-term-choices

Pesquisadores apresentaram o Taste-Bench, um teste com 502 perguntas que avalia se modelos de IA conseguem escolher o melhor caminho durante uma tarefa de programação ou pesquisa, antes que etapas posteriores revelem o resultado. Nos testes com 14 modelos, o GPT-5.6 Sol teve a maior pontuação, com 59,7%; só foram contabilizadas as perguntas em que o modelo acertou nas duas ordens de resposta.

A precisão média foi de 62,3% quando a pista já estava visível, mas caiu para 21% quando ela só aparecia muito mais tarde. Os pesquisadores também treinaram um modelo Qwen3.6-27B para orientar um agente separado: em 41 tarefas do SWE-bench Pro reservadas para avaliação, a taxa de sucesso subiu de 14,6% para 33,7%. A equipe afirma que o benchmark e o código são públicos.

## Os fatos

- O Taste-Bench contém 502 perguntas baseadas em pontos de decisão durante a execução de agentes.
- Com a orientação do Qwen3.6-27B treinado, a taxa de sucesso em 41 problemas do SWE-bench Pro reservados para avaliação subiu de 14,6% para 33,7%.

## Por que importa

Para equipes que usam agentes de programação, os resultados sugerem que passar nos testes ao fim de uma tarefa talvez não indique se o agente toma decisões que ajudam no trabalho posterior. Ainda não se sabe se o Taste-Bench prevê o desempenho em implantações cotidianas.

## Fontes e referências

1. [AI agents have bad taste in long-term decisions and a new benchmark proves it](https://the-decoder.com/ai-agents-have-bad-taste-in-long-term-decisions-and-a-new-benchmark-proves-it/) – The Decoder, 2026-10-18

Última atualização: 2026-10-18