Des chercheurs ont présenté Taste-Bench, un test de 502 questions conçu pour évaluer si les modèles d’IA savent choisir la bonne direction pendant une tâche de programmation ou de recherche, avant que les étapes suivantes n’en révèlent l’issue. Lors des tests menés sur 14 modèles, GPT-5.6 Sol est arrivé en tête avec un score de 59,7 % ; une réponse n’était comptabilisée comme correcte que si le modèle répondait juste dans les deux ordres de présentation des choix.
Le taux de réussite moyen atteignait 62,3 % lorsque l’indice était déjà visible, mais tombait à 21 % lorsqu’il n’apparaissait que bien plus tard. Les chercheurs ont également entraîné un modèle Qwen3.6-27B chargé de conseiller un agent distinct : sur 41 tâches SWE-bench Pro mises de côté pour l’évaluation, le taux de réussite est passé de 14,6 % à 33,7 %. L’équipe indique que le benchmark et le code sont publics.
Pourquoi c'est important
Pour les équipes qui utilisent des agents de programmation, ces résultats suggèrent que réussir les tests en fin de tâche ne suffit pas à montrer qu’un agent prend des décisions utiles pour la suite. On ignore encore si Taste-Bench permet de prédire les performances dans les usages quotidiens.
