Hugging Face представила XYBench — бенчмарк из 8 115 вопросов, который проверяет, умеют ли ИИ-ассистенты замечать скрытые заблуждения в запросах пользователей. Датасет создан совместно с исследователями из Carnegie Mellon, NVIDIA и Johns Hopkins и получил награду Best Resource Paper Award на EMNLP 2026. Испытания Claude Sonnet 4.6, GPT‑5, Gemini 3.1 Pro, Qwen3.5‑9B и DeepSeek‑V4 Pro показали, что модели часто отвечают на буквальный запрос, а не помогают достичь цели, которая за ним стоит. Люди, чьи ответы использовались в качестве эталона, по-прежнему лучше моделей распознают ошибочный подход и помогают его исправить.
Почему это важно
Бенчмарк даёт исследователям конкретный инструмент для улучшения ассистентов: они должны помогать пользователям находить настоящее решение, а не просто выполнять запрошенный способ.
