# Hugging Face stellt XYBench zum Testen von KI-Assistenten vor

> Der neue Benchmark umfasst 8.115 Fragen aus der Praxis. Er zeigt, dass führende Modelle Nutzer noch oft nicht zum eigentlichen Ziel führen.

Oossa · 2026-11-13 · https://oossa.com/de/hugging-face-releases-xybench-to-test-ai-assistants-on-hidden-user-misconception

Hugging Face hat XYBench vorgestellt, einen Benchmark mit 8,115 Fragen. Er prüft, ob KI-Assistenten verborgene Fehlannahmen in Nutzeranfragen erkennen. Der Datensatz entstand gemeinsam mit Forschenden der Carnegie Mellon University, von NVIDIA und der Johns Hopkins University und wurde bei EMNLP 2026 mit dem Best Resource Paper Award ausgezeichnet. Tests mit Claude Sonnet 4.6, GPT‑5, Gemini 3.1 Pro, Qwen3.5‑9B und DeepSeek‑V4 Pro zeigen: Die Modelle beantworten häufig die wörtliche Anfrage statt auf das eigentliche Ziel einzugehen. Menschliche Referenzantworten erkennen und korrigieren den falschen Ansatz weiterhin besser als die Modelle.

## Die Fakten

- 8,115 Fragen von Stack Overflow, Stack Exchange und WikiHow sowie aus manueller Zusammenstellung
- Zu den getesteten Modellen gehörten Claude Sonnet 4.6, GPT‑5, Gemini 3.1 Pro, Qwen3.5‑9B und DeepSeek‑V4 Pro

## Warum es wichtig ist

Der Benchmark bietet Forschenden eine konkrete Möglichkeit, Assistenten zu verbessern, damit sie Nutzer zur tatsächlichen Lösung führen – und nicht nur zum gewünschten Vorgehen.

## Quellen und Referenzen

1. [XYBench: Helping with the problem behind the question](https://huggingface.co/blog/allenai/xybench) – Hugging Face, 2026-11-13
2. [XYBench: Helping with the problem behind the question](https://allenai.org/blog/xybench) – Ai2

Zuletzt aktualisiert: 2026-11-13