# Taste-Bench: ИИ-агентам трудно делать выбор с прицелом на будущее

> В бенчмарке из 502 вопросов проверяют, может ли ИИ выбрать более перспективный путь, пока результат ещё неизвестен. Лучший из протестированных моделей набрал 59,7%.

Oossa · 2026-10-18 · https://oossa.com/ru/taste-bench-finds-ai-agents-struggle-with-long-term-choices

Исследователи представили Taste-Bench — тест из 502 вопросов, который проверяет, способны ли модели ИИ выбрать более перспективное направление в ходе задачи по программированию или исследованию, прежде чем дальнейшие шаги покажут результат. В испытании 14 моделей лучший результат показала GPT-5.6 Sol — 59,7%. Ответ засчитывался только в том случае, если модель правильно выбирала вариант при обоих порядках ответов.

Когда подсказка была видна сразу, средняя точность составляла 62,3%, но падала до 21%, если подсказка появлялась гораздо позже. Исследователи также обучили модель Qwen3.6-27B давать рекомендации отдельному агенту: на 41 отложенной задаче SWE-bench Pro доля успешных решений выросла с 14,6% до 33,7%. Команда сообщает, что бенчмарк и код доступны публично.

## Факты

- Taste-Bench включает 502 вопроса, основанных на точках принятия решений в ходе работы агентов.
- С рекомендациями обученной Qwen3.6-27B доля успешно решённых задач на 41 отложенной задаче SWE-bench Pro выросла с 14,6% до 33,7%.

## Почему это важно

Для команд, использующих агентов для программирования, результаты показывают: успешное прохождение итоговых тестов ещё не доказывает, что агент принимает решения, полезные для дальнейшей работы. Пока неизвестно, насколько Taste-Bench предсказывает эффективность агентов при повседневном использовании.

## Источники и ссылки

1. [AI agents have bad taste in long-term decisions and a new benchmark proves it](https://the-decoder.com/ai-agents-have-bad-taste-in-long-term-decisions-and-a-new-benchmark-proves-it/) – The Decoder, 2026-10-18

Обновлено: 2026-10-18