Hugging Face ha annunciato XYBench, un benchmark composto da 8.115 domande che verifica se gli assistenti IA riescono a individuare gli equivoci nascosti nelle richieste degli utenti. Il dataset è stato realizzato con ricercatori della Carnegie Mellon, di NVIDIA e della Johns Hopkins e ha vinto il premio Best Resource Paper a EMNLP 2026. I test condotti su Claude Sonnet 4.6, GPT‑5, Gemini 3.1 Pro, Qwen3.5‑9B e DeepSeek‑V4 Pro mostrano che spesso i modelli rispondono alla richiesta alla lettera, anziché puntare all’obiettivo sottostante. Le risposte di riferimento fornite da persone continuano a superare quelle dei modelli nell’individuare e correggere l’approccio sbagliato.
Perché conta
Il benchmark offre ai ricercatori un metodo concreto per migliorare gli assistenti, così che possano guidare gli utenti verso la soluzione giusta, anziché limitarsi a indicare il metodo richiesto.
