Hugging Face har presenterat XYBench, ett riktmärke med 8 115 frågor som testar om AI-assistenter kan upptäcka dolda missuppfattningar i användarnas frågor. Datamängden har tagits fram tillsammans med forskare från Carnegie Mellon, NVIDIA och Johns Hopkins och vann priset för bästa resursartikel vid EMNLP 2026. Tester av Claude Sonnet 4.6, GPT‑5, Gemini 3.1 Pro, Qwen3.5‑9B och DeepSeek‑V4 Pro visar att modellerna ofta svarar på den bokstavliga frågan i stället för att hjälpa användaren att nå sitt egentliga mål. Människors referenssvar är fortfarande bättre på att identifiera och rätta till det felaktiga tillvägagångssättet.
Varför det spelar roll
Riktmärket ger forskare ett konkret sätt att förbättra assistenter så att de kan vägleda användare till den verkliga lösningen, inte bara den efterfrågade metoden.
