# Hugging Face, 사용자 오해 파악 능력 평가하는 XYBench 공개

> 새 벤치마크에는 실제 질문 8,115개가 담겼으며, 주요 모델도 여전히 사용자가 진짜 원하는 목표를 향해 안내하는 데 어려움을 겪는 것으로 나타났다.

Oossa · 2026-11-13 · https://oossa.com/ko/hugging-face-releases-xybench-to-test-ai-assistants-on-hidden-user-misconception

Hugging Face가 AI 어시스턴트가 사용자 요청에 숨은 오해를 파악할 수 있는지 평가하는 벤치마크 XYBench를 공개했다. 이 데이터셋은 질문 8,115개로 구성됐으며, Carnegie Mellon, NVIDIA, Johns Hopkins 연구진과 함께 만들었다. EMNLP 2026에서 최우수 리소스 논문상을 받았다. Claude Sonnet 4.6, GPT‑5, Gemini 3.1 Pro, Qwen3.5‑9B, DeepSeek‑V4 Pro를 대상으로 한 평가에서 모델들은 사용자의 근본적인 목표보다 문면 그대로의 요청에 답하는 경우가 많았다. 잘못된 접근을 찾아내 바로잡는 능력에서는 사람의 기준 답변이 여전히 모델보다 뛰어났다.

## 팩트

- Stack Overflow, Stack Exchange, WikiHow와 수작업 선별을 통해 모은 질문 8,115개
- 평가 대상 모델: Claude Sonnet 4.6, GPT‑5, Gemini 3.1 Pro, Qwen3.5‑9B, DeepSeek‑V4 Pro

## 왜 중요한가

이 벤치마크는 연구자들이 어시스턴트를 개선해 사용자가 요청한 방법에만 답하는 것이 아니라 진짜 해결책으로 안내하도록 하는 구체적인 기준을 제공한다.

## 출처 및 참고 자료

1. [XYBench: Helping with the problem behind the question](https://huggingface.co/blog/allenai/xybench) – Hugging Face, 2026-11-13
2. [XYBench: Helping with the problem behind the question](https://allenai.org/blog/xybench) – Ai2

최종 업데이트: 2026-11-13