# Hugging Face выпустила XYBench для проверки ИИ-ассистентов

> В новом бенчмарке — 8 115 вопросов из реальной жизни. Он показывает, что ведущие модели пока не умеют уверенно распознавать заблуждения пользователей и помогать им достичь настоящей цели.

Oossa · 2026-11-13 · https://oossa.com/ru/hugging-face-releases-xybench-to-test-ai-assistants-on-hidden-user-misconception

Hugging Face представила XYBench — бенчмарк из 8 115 вопросов, который проверяет, умеют ли ИИ-ассистенты замечать скрытые заблуждения в запросах пользователей. Датасет создан совместно с исследователями из Carnegie Mellon, NVIDIA и Johns Hopkins и получил награду Best Resource Paper Award на EMNLP 2026. Испытания Claude Sonnet 4.6, GPT‑5, Gemini 3.1 Pro, Qwen3.5‑9B и DeepSeek‑V4 Pro показали, что модели часто отвечают на буквальный запрос, а не помогают достичь цели, которая за ним стоит. Люди, чьи ответы использовались в качестве эталона, по-прежнему лучше моделей распознают ошибочный подход и помогают его исправить.

## Факты

- 8 115 вопросов из Stack Overflow, Stack Exchange, WikiHow и материалов, отобранных вручную
- Среди оценённых моделей — Claude Sonnet 4.6, GPT‑5, Gemini 3.1 Pro, Qwen3.5‑9B и DeepSeek‑V4 Pro

## Почему это важно

Бенчмарк даёт исследователям конкретный инструмент для улучшения ассистентов: они должны помогать пользователям находить настоящее решение, а не просто выполнять запрошенный способ.

## Источники и ссылки

1. [XYBench: Helping with the problem behind the question](https://huggingface.co/blog/allenai/xybench) – Hugging Face, 2026-11-13
2. [XYBench: Helping with the problem behind the question](https://allenai.org/blog/xybench) – Ai2

Обновлено: 2026-11-13