# Hugging Face lance XYBench pour tester les assistants IA

> Ce nouveau benchmark rassemble 8 115 questions réelles et montre que les meilleurs modèles peinent encore à orienter les utilisateurs vers leur véritable objectif.

Oossa · 2026-11-13 · https://oossa.com/fr/hugging-face-releases-xybench-to-test-ai-assistants-on-hidden-user-misconception

Hugging Face a annoncé XYBench, un benchmark composé de 8 115 questions qui permet de vérifier si les assistants IA repèrent les idées fausses qui se cachent dans les demandes des utilisateurs. Le jeu de données a été constitué avec des chercheurs de Carnegie Mellon, de NVIDIA et de Johns Hopkins. Il a reçu le prix du meilleur article sur une ressource à EMNLP 2026. Les tests menés sur Claude Sonnet 4.6, GPT‑5, Gemini 3.1 Pro, Qwen3.5‑9B et DeepSeek‑V4 Pro montrent que les modèles répondent souvent à la demande au pied de la lettre, plutôt que de s’attaquer à l’objectif sous-jacent. Les réponses de référence rédigées par des humains restent plus efficaces pour repérer et corriger l’approche erronée.

## Les faits

- 8 115 questions issues de Stack Overflow, Stack Exchange, WikiHow et d’une sélection manuelle
- Parmi les modèles évalués : Claude Sonnet 4.6, GPT‑5, Gemini 3.1 Pro, Qwen3.5‑9B et DeepSeek‑V4 Pro

## Pourquoi c'est important

Ce benchmark donne aux chercheurs un moyen concret d’améliorer les assistants pour qu’ils guident les utilisateurs vers la véritable solution, plutôt que de se contenter de la méthode demandée.

## Sources et références

1. [XYBench: Helping with the problem behind the question](https://huggingface.co/blog/allenai/xybench) – Hugging Face, 2026-11-13
2. [XYBench: Helping with the problem behind the question](https://allenai.org/blog/xybench) – Ai2

Dernière mise à jour: 2026-11-13