# Hugging Face lanserar XYBench för att testa AI-assistenters förståelse

> Det nya riktmärket innehåller 8 115 verklighetsnära frågor och visar att ledande modeller fortfarande har svårt att hjälpa användare att nå sitt egentliga mål.

Oossa · 2026-11-13 · https://oossa.com/sv/hugging-face-releases-xybench-to-test-ai-assistants-on-hidden-user-misconception

Hugging Face har presenterat XYBench, ett riktmärke med 8 115 frågor som testar om AI-assistenter kan upptäcka dolda missuppfattningar i användarnas frågor. Datamängden har tagits fram tillsammans med forskare från Carnegie Mellon, NVIDIA och Johns Hopkins och vann priset för bästa resursartikel vid EMNLP 2026. Tester av Claude Sonnet 4.6, GPT‑5, Gemini 3.1 Pro, Qwen3.5‑9B och DeepSeek‑V4 Pro visar att modellerna ofta svarar på den bokstavliga frågan i stället för att hjälpa användaren att nå sitt egentliga mål. Människors referenssvar är fortfarande bättre på att identifiera och rätta till det felaktiga tillvägagångssättet.

## Fakta

- 8 115 frågor från Stack Overflow, Stack Exchange, WikiHow och manuell sammanställning
- Bland modellerna som utvärderades fanns Claude Sonnet 4.6, GPT‑5, Gemini 3.1 Pro, Qwen3.5‑9B och DeepSeek‑V4 Pro

## Varför det spelar roll

Riktmärket ger forskare ett konkret sätt att förbättra assistenter så att de kan vägleda användare till den verkliga lösningen, inte bara den efterfrågade metoden.

## Källor och referenser

1. [XYBench: Helping with the problem behind the question](https://huggingface.co/blog/allenai/xybench) – Hugging Face, 2026-11-13
2. [XYBench: Helping with the problem behind the question](https://allenai.org/blog/xybench) – Ai2

Senast uppdaterad: 2026-11-13