أعلنت Hugging Face عن XYBench، وهو معيار يضم 8,115 سؤالًا لاختبار قدرة المساعدات الذكية على كشف المفاهيم الخاطئة التي لا يصرّح بها المستخدمون في طلباتهم. أُعدّت مجموعة البيانات بالتعاون مع باحثين من Carnegie Mellon وNVIDIA وJohns Hopkins، وفازت بجائزة أفضل ورقة بحثية للموارد في EMNLP 2026. وأظهرت اختبارات شملت Claude Sonnet 4.6 وGPT‑5 وGemini 3.1 Pro وQwen3.5‑9B وDeepSeek‑V4 Pro أن النماذج كثيرًا ما تجيب عن الطلب حرفيًا بدلًا من معالجة الهدف الكامن وراءه. ولا تزال الإجابات المرجعية التي أعدّها البشر أفضل من النماذج في تحديد النهج الخاطئ وتصحيحه.
لماذا يهم
يوفر هذا المعيار للباحثين وسيلة عملية لتحسين المساعدات، كي توجه المستخدمين إلى الحل الفعلي بدلًا من الاكتفاء بالطريقة التي طلبوها.
