# Hugging Face lança XYBench para testar equívocos dos usuários

> O novo benchmark reúne 8,115 perguntas do mundo real e mostra que modelos de ponta ainda têm dificuldade para orientar os usuários rumo ao objetivo real.

Oossa · 2026-11-13 · https://oossa.com/pt/hugging-face-releases-xybench-to-test-ai-assistants-on-hidden-user-misconception

A Hugging Face anunciou o XYBench, um benchmark com 8,115 perguntas que avalia se assistentes de IA conseguem identificar equívocos implícitos nos pedidos dos usuários. O conjunto de dados foi criado com pesquisadores da Carnegie Mellon, da NVIDIA e da Johns Hopkins e recebeu o prêmio de Melhor Artigo de Recursos na EMNLP 2026. Testes com Claude Sonnet 4.6, GPT‑5, Gemini 3.1 Pro, Qwen3.5‑9B e DeepSeek‑V4 Pro mostram que os modelos frequentemente respondem ao pedido literal, em vez de atender ao objetivo por trás dele. As respostas de referência escritas por humanos ainda superam as dos modelos na identificação e correção da abordagem equivocada.

## Os fatos

- 8,115 perguntas do Stack Overflow, Stack Exchange, WikiHow e de curadoria manual
- Os modelos avaliados incluíram Claude Sonnet 4.6, GPT‑5, Gemini 3.1 Pro, Qwen3.5‑9B e DeepSeek‑V4 Pro

## Por que importa

O benchmark oferece aos pesquisadores uma forma concreta de aprimorar os assistentes, para que orientem os usuários rumo à solução real, em vez de apenas sugerir o método pedido.

## Fontes e referências

1. [XYBench: Helping with the problem behind the question](https://huggingface.co/blog/allenai/xybench) – Hugging Face, 2026-11-13
2. [XYBench: Helping with the problem behind the question](https://allenai.org/blog/xybench) – Ai2

Última atualização: 2026-11-13