A Hugging Face anunciou o XYBench, um benchmark com 8,115 perguntas que avalia se assistentes de IA conseguem identificar equívocos implícitos nos pedidos dos usuários. O conjunto de dados foi criado com pesquisadores da Carnegie Mellon, da NVIDIA e da Johns Hopkins e recebeu o prêmio de Melhor Artigo de Recursos na EMNLP 2026. Testes com Claude Sonnet 4.6, GPT‑5, Gemini 3.1 Pro, Qwen3.5‑9B e DeepSeek‑V4 Pro mostram que os modelos frequentemente respondem ao pedido literal, em vez de atender ao objetivo por trás dele. As respostas de referência escritas por humanos ainda superam as dos modelos na identificação e correção da abordagem equivocada.
Por que importa
O benchmark oferece aos pesquisadores uma forma concreta de aprimorar os assistentes, para que orientem os usuários rumo à solução real, em vez de apenas sugerir o método pedido.
