# Hugging Face brengt XYBench uit voor het testen van AI-assistenten

> De nieuwe benchmark bevat 8.115 vragen uit de praktijk en laat zien dat toonaangevende modellen gebruikers nog moeite hebben naar hun werkelijke doel te sturen.

Oossa · 2026-11-13 · https://oossa.com/nl/hugging-face-releases-xybench-to-test-ai-assistants-on-hidden-user-misconception

Hugging Face heeft XYBench aangekondigd, een benchmark met 8,115 vragen waarmee wordt getest of AI-assistenten verborgen misvattingen in gebruikersverzoeken herkennen. De dataset is samengesteld met onderzoekers van Carnegie Mellon, NVIDIA en Johns Hopkins en won de Best Resource Paper Award op EMNLP 2026. Tests met Claude Sonnet 4.6, GPT‑5, Gemini 3.1 Pro, Qwen3.5‑9B en DeepSeek‑V4 Pro laten zien dat de modellen vaak de letterlijke vraag beantwoorden in plaats van het onderliggende doel. Menselijke referentieantwoorden zijn nog altijd beter in het herkennen en corrigeren van de verkeerde aanpak.

## De feiten

- 8,115 vragen van Stack Overflow, Stack Exchange, WikiHow en handmatige selectie
- Geteste modellen waren onder meer Claude Sonnet 4.6, GPT‑5, Gemini 3.1 Pro, Qwen3.5‑9B en DeepSeek‑V4 Pro

## Waarom het ertoe doet

De benchmark biedt onderzoekers een concrete manier om assistenten te verbeteren, zodat die gebruikers naar de echte oplossing kunnen leiden in plaats van alleen de gevraagde methode aan te reiken.

## Bronnen en referenties

1. [XYBench: Helping with the problem behind the question](https://huggingface.co/blog/allenai/xybench) – Hugging Face, 2026-11-13
2. [XYBench: Helping with the problem behind the question](https://allenai.org/blog/xybench) – Ai2

Laatst bijgewerkt: 2026-11-13