Hugging Face heeft XYBench aangekondigd, een benchmark met 8,115 vragen waarmee wordt getest of AI-assistenten verborgen misvattingen in gebruikersverzoeken herkennen. De dataset is samengesteld met onderzoekers van Carnegie Mellon, NVIDIA en Johns Hopkins en won de Best Resource Paper Award op EMNLP 2026. Tests met Claude Sonnet 4.6, GPT‑5, Gemini 3.1 Pro, Qwen3.5‑9B en DeepSeek‑V4 Pro laten zien dat de modellen vaak de letterlijke vraag beantwoorden in plaats van het onderliggende doel. Menselijke referentieantwoorden zijn nog altijd beter in het herkennen en corrigeren van de verkeerde aanpak.
Waarom het ertoe doet
De benchmark biedt onderzoekers een concrete manier om assistenten te verbeteren, zodat die gebruikers naar de echte oplossing kunnen leiden in plaats van alleen de gevraagde methode aan te reiken.
