Hugging Face가 AI 어시스턴트가 사용자 요청에 숨은 오해를 파악할 수 있는지 평가하는 벤치마크 XYBench를 공개했다. 이 데이터셋은 질문 8,115개로 구성됐으며, Carnegie Mellon, NVIDIA, Johns Hopkins 연구진과 함께 만들었다. EMNLP 2026에서 최우수 리소스 논문상을 받았다. Claude Sonnet 4.6, GPT‑5, Gemini 3.1 Pro, Qwen3.5‑9B, DeepSeek‑V4 Pro를 대상으로 한 평가에서 모델들은 사용자의 근본적인 목표보다 문면 그대로의 요청에 답하는 경우가 많았다. 잘못된 접근을 찾아내 바로잡는 능력에서는 사람의 기준 답변이 여전히 모델보다 뛰어났다.
왜 중요한가
이 벤치마크는 연구자들이 어시스턴트를 개선해 사용자가 요청한 방법에만 답하는 것이 아니라 진짜 해결책으로 안내하도록 하는 구체적인 기준을 제공한다.
