# Hugging Face بنچمارک XYBench را برای سنجش درک دستیارهای هوش مصنوعی منتشر کرد

> این بنچمارک تازه 8,115 پرسش واقعی دارد و نشان می‌دهد مدل‌های پیشرو هنوز در هدایت کاربران به‌سوی هدف اصلی‌شان مشکل دارند.

Oossa · 2026-11-13 · https://oossa.com/fa/hugging-face-releases-xybench-to-test-ai-assistants-on-hidden-user-misconception

Hugging Face از XYBench رونمایی کرد؛ بنچمارکی شامل 8,115 پرسش که می‌سنجد آیا دستیارهای هوش مصنوعی می‌توانند برداشت‌های نادرستِ پنهان در درخواست‌های کاربران را تشخیص دهند یا نه. این مجموعه داده با همکاری پژوهشگران Carnegie Mellon، NVIDIA و Johns Hopkins تهیه شده و جایزه بهترین مقاله منابع را در EMNLP 2026 دریافت کرده است. آزمایش‌ها روی Claude Sonnet 4.6، GPT‑5، Gemini 3.1 Pro، Qwen3.5‑9B و DeepSeek‑V4 Pro نشان می‌دهد این مدل‌ها اغلب به درخواست لفظی پاسخ می‌دهند، نه به هدف اصلی کاربر. پاسخ‌های مرجع انسانی همچنان در تشخیص و اصلاح رویکرد اشتباه، عملکرد بهتری از مدل‌ها دارند.

## حقایق

- 8,115 پرسش برگرفته از Stack Overflow، Stack Exchange، WikiHow و گزینش دستی
- مدل‌های ارزیابی‌شده شامل Claude Sonnet 4.6، GPT‑5، Gemini 3.1 Pro، Qwen3.5‑9B و DeepSeek‑V4 Pro بودند

## چرا مهم است

این بنچمارک ابزار مشخصی در اختیار پژوهشگران می‌گذارد تا دستیارها را به‌گونه‌ای بهبود دهند که کاربران را به‌سوی راه‌حل واقعی هدایت کنند، نه اینکه صرفاً روش درخواستی آن‌ها را ارائه دهند.

## منابع و ارجاع‌ها

1. [XYBench: Helping with the problem behind the question](https://huggingface.co/blog/allenai/xybench) – Hugging Face, 2026-11-13
2. [XYBench: Helping with the problem behind the question](https://allenai.org/blog/xybench) – Ai2

آخرین به‌روزرسانی: 2026-11-13