Hugging Face anunció XYBench, un benchmark de 8,115 preguntas para evaluar si los asistentes de IA detectan errores de comprensión ocultos en las solicitudes de los usuarios. El conjunto de datos se creó junto con investigadores de Carnegie Mellon, NVIDIA y Johns Hopkins, y ganó el premio Best Resource Paper en EMNLP 2026. Las pruebas con Claude Sonnet 4.6, GPT‑5, Gemini 3.1 Pro, Qwen3.5‑9B y DeepSeek‑V4 Pro muestran que los modelos suelen responder a la petición literal en lugar de atender al objetivo subyacente. Las respuestas de referencia escritas por personas siguen superando a las de los modelos a la hora de identificar y corregir el enfoque equivocado.
Por qué importa
El benchmark ofrece a los investigadores una forma concreta de mejorar los asistentes para que orienten a los usuarios hacia la solución real, y no se limiten a indicarles cómo llevar a cabo el método que solicitaron.
