# Hugging Face、AIの誤解を見抜くベンチマーク「XYBench」を公開

> 実際の質問8,115件で評価したところ、主要モデルはユーザーを本来の目的へ導くのに、依然として苦戦していることが分かった。

Oossa · 2026-11-13 · https://oossa.com/ja/hugging-face-releases-xybench-to-test-ai-assistants-on-hidden-user-misconception

Hugging Faceは、AIアシスタントがユーザーの依頼に潜む誤解を見抜けるかを調べるベンチマーク「XYBench」を発表した。8,115件の質問を収録し、Carnegie Mellon、NVIDIA、Johns Hopkinsの研究者と共同で作成。EMNLP 2026でBest Resource Paper Awardを受賞した。Claude Sonnet 4.6、GPT‑5、Gemini 3.1 Pro、Qwen3.5‑9B、DeepSeek‑V4 Proを評価した結果、モデルはしばしば、依頼の根底にある目的ではなく、表面的な要望に答えていた。誤った進め方を見抜き、正す能力では、今なお人間の模範回答がモデルを上回っている。

## 事実

- Stack Overflow、Stack Exchange、WikiHowからの質問と手作業で選定した質問を合わせた8,115件
- 評価対象のモデルはClaude Sonnet 4.6、GPT‑5、Gemini 3.1 Pro、Qwen3.5‑9B、DeepSeek‑V4 Pro

## なぜ重要か

このベンチマークにより、研究者はユーザーが尋ねた手段に答えるだけでなく、本当の解決策へ導けるアシスタントの開発に取り組みやすくなる。

## 出典と参考資料

1. [XYBench: Helping with the problem behind the question](https://huggingface.co/blog/allenai/xybench) – Hugging Face, 2026-11-13
2. [XYBench: Helping with the problem behind the question](https://allenai.org/blog/xybench) – Ai2

最終更新: 2026-11-13