# Hugging Face lanza XYBench para evaluar errores de comprensión en asistentes de IA

> El nuevo benchmark reúne 8,115 preguntas reales y muestra que los principales modelos aún tienen dificultades para orientar a los usuarios hacia su verdadero objetivo.

Oossa · 2026-11-13 · https://oossa.com/es/hugging-face-releases-xybench-to-test-ai-assistants-on-hidden-user-misconception

Hugging Face anunció XYBench, un benchmark de 8,115 preguntas para evaluar si los asistentes de IA detectan errores de comprensión ocultos en las solicitudes de los usuarios. El conjunto de datos se creó junto con investigadores de Carnegie Mellon, NVIDIA y Johns Hopkins, y ganó el premio Best Resource Paper en EMNLP 2026. Las pruebas con Claude Sonnet 4.6, GPT‑5, Gemini 3.1 Pro, Qwen3.5‑9B y DeepSeek‑V4 Pro muestran que los modelos suelen responder a la petición literal en lugar de atender al objetivo subyacente. Las respuestas de referencia escritas por personas siguen superando a las de los modelos a la hora de identificar y corregir el enfoque equivocado.

## Los hechos

- 8,115 preguntas procedentes de Stack Overflow, Stack Exchange, WikiHow y selección manual
- Entre los modelos evaluados estaban Claude Sonnet 4.6, GPT‑5, Gemini 3.1 Pro, Qwen3.5‑9B y DeepSeek‑V4 Pro

## Por qué importa

El benchmark ofrece a los investigadores una forma concreta de mejorar los asistentes para que orienten a los usuarios hacia la solución real, y no se limiten a indicarles cómo llevar a cabo el método que solicitaron.

## Fuentes y referencias

1. [XYBench: Helping with the problem behind the question](https://huggingface.co/blog/allenai/xybench) – Hugging Face, 2026-11-13
2. [XYBench: Helping with the problem behind the question](https://allenai.org/blog/xybench) – Ai2

Última actualización: 2026-11-13