# Taste-Bench révèle les difficultés des agents IA face aux choix à long terme

> Ce benchmark de 502 questions évalue la capacité d’une IA à choisir la meilleure voie avant d’en connaître l’issue. Le modèle testé le plus performant a obtenu 59,7 %.

Oossa · 2026-10-18 · https://oossa.com/fr/taste-bench-finds-ai-agents-struggle-with-long-term-choices

Des chercheurs ont présenté Taste-Bench, un test de 502 questions conçu pour évaluer si les modèles d’IA savent choisir la bonne direction pendant une tâche de programmation ou de recherche, avant que les étapes suivantes n’en révèlent l’issue. Lors des tests menés sur 14 modèles, GPT-5.6 Sol est arrivé en tête avec un score de 59,7 % ; une réponse n’était comptabilisée comme correcte que si le modèle répondait juste dans les deux ordres de présentation des choix.

Le taux de réussite moyen atteignait 62,3 % lorsque l’indice était déjà visible, mais tombait à 21 % lorsqu’il n’apparaissait que bien plus tard. Les chercheurs ont également entraîné un modèle Qwen3.6-27B chargé de conseiller un agent distinct : sur 41 tâches SWE-bench Pro mises de côté pour l’évaluation, le taux de réussite est passé de 14,6 % à 33,7 %. L’équipe indique que le benchmark et le code sont publics.

## Les faits

- Taste-Bench comprend 502 questions fondées sur des points de décision rencontrés par des agents.
- Avec les conseils du modèle Qwen3.6-27B entraîné, le taux de réussite sur 41 problèmes SWE-bench Pro mis de côté pour l’évaluation est passé de 14,6 % à 33,7 %.

## Pourquoi c'est important

Pour les équipes qui utilisent des agents de programmation, ces résultats suggèrent que réussir les tests en fin de tâche ne suffit pas à montrer qu’un agent prend des décisions utiles pour la suite. On ignore encore si Taste-Bench permet de prédire les performances dans les usages quotidiens.

## Sources et références

1. [AI agents have bad taste in long-term decisions and a new benchmark proves it](https://the-decoder.com/ai-agents-have-bad-taste-in-long-term-decisions-and-a-new-benchmark-proves-it/) – The Decoder, 2026-10-18

Dernière mise à jour: 2026-10-18