Hugging Face a annoncé XYBench, un benchmark composé de 8 115 questions qui permet de vérifier si les assistants IA repèrent les idées fausses qui se cachent dans les demandes des utilisateurs. Le jeu de données a été constitué avec des chercheurs de Carnegie Mellon, de NVIDIA et de Johns Hopkins. Il a reçu le prix du meilleur article sur une ressource à EMNLP 2026. Les tests menés sur Claude Sonnet 4.6, GPT‑5, Gemini 3.1 Pro, Qwen3.5‑9B et DeepSeek‑V4 Pro montrent que les modèles répondent souvent à la demande au pied de la lettre, plutôt que de s’attaquer à l’objectif sous-jacent. Les réponses de référence rédigées par des humains restent plus efficaces pour repérer et corriger l’approche erronée.
Pourquoi c'est important
Ce benchmark donne aux chercheurs un moyen concret d’améliorer les assistants pour qu’ils guident les utilisateurs vers la véritable solution, plutôt que de se contenter de la méthode demandée.
