Hugging Faceは、AIアシスタントがユーザーの依頼に潜む誤解を見抜けるかを調べるベンチマーク「XYBench」を発表した。8,115件の質問を収録し、Carnegie Mellon、NVIDIA、Johns Hopkinsの研究者と共同で作成。EMNLP 2026でBest Resource Paper Awardを受賞した。Claude Sonnet 4.6、GPT‑5、Gemini 3.1 Pro、Qwen3.5‑9B、DeepSeek‑V4 Proを評価した結果、モデルはしばしば、依頼の根底にある目的ではなく、表面的な要望に答えていた。誤った進め方を見抜き、正す能力では、今なお人間の模範回答がモデルを上回っている。
なぜ重要か
このベンチマークにより、研究者はユーザーが尋ねた手段に答えるだけでなく、本当の解決策へ導けるアシスタントの開発に取り組みやすくなる。
