Hugging Face از XYBench رونمایی کرد؛ بنچمارکی شامل 8,115 پرسش که می‌سنجد آیا دستیارهای هوش مصنوعی می‌توانند برداشت‌های نادرستِ پنهان در درخواست‌های کاربران را تشخیص دهند یا نه. این مجموعه داده با همکاری پژوهشگران Carnegie Mellon، NVIDIA و Johns Hopkins تهیه شده و جایزه بهترین مقاله منابع را در EMNLP 2026 دریافت کرده است. آزمایش‌ها روی Claude Sonnet 4.6، GPT‑5، Gemini 3.1 Pro، Qwen3.5‑9B و DeepSeek‑V4 Pro نشان می‌دهد این مدل‌ها اغلب به درخواست لفظی پاسخ می‌دهند، نه به هدف اصلی کاربر. پاسخ‌های مرجع انسانی همچنان در تشخیص و اصلاح رویکرد اشتباه، عملکرد بهتری از مدل‌ها دارند.
چرا مهم است
این بنچمارک ابزار مشخصی در اختیار پژوهشگران می‌گذارد تا دستیارها را به‌گونه‌ای بهبود دهند که کاربران را به‌سوی راه‌حل واقعی هدایت کنند، نه اینکه صرفاً روش درخواستی آن‌ها را ارائه دهند.
