Hugging Face hat XYBench vorgestellt, einen Benchmark mit 8,115 Fragen. Er prüft, ob KI-Assistenten verborgene Fehlannahmen in Nutzeranfragen erkennen. Der Datensatz entstand gemeinsam mit Forschenden der Carnegie Mellon University, von NVIDIA und der Johns Hopkins University und wurde bei EMNLP 2026 mit dem Best Resource Paper Award ausgezeichnet. Tests mit Claude Sonnet 4.6, GPT‑5, Gemini 3.1 Pro, Qwen3.5‑9B und DeepSeek‑V4 Pro zeigen: Die Modelle beantworten häufig die wörtliche Anfrage statt auf das eigentliche Ziel einzugehen. Menschliche Referenzantworten erkennen und korrigieren den falschen Ansatz weiterhin besser als die Modelle.
Warum es wichtig ist
Der Benchmark bietet Forschenden eine konkrete Möglichkeit, Assistenten zu verbessern, damit sie Nutzer zur tatsächlichen Lösung führen – und nicht nur zum gewünschten Vorgehen.
