Исследователи представили Taste-Bench — тест из 502 вопросов, который проверяет, способны ли модели ИИ выбрать более перспективное направление в ходе задачи по программированию или исследованию, прежде чем дальнейшие шаги покажут результат. В испытании 14 моделей лучший результат показала GPT-5.6 Sol — 59,7%. Ответ засчитывался только в том случае, если модель правильно выбирала вариант при обоих порядках ответов.
Когда подсказка была видна сразу, средняя точность составляла 62,3%, но падала до 21%, если подсказка появлялась гораздо позже. Исследователи также обучили модель Qwen3.6-27B давать рекомендации отдельному агенту: на 41 отложенной задаче SWE-bench Pro доля успешных решений выросла с 14,6% до 33,7%. Команда сообщает, что бенчмарк и код доступны публично.
Почему это важно
Для команд, использующих агентов для программирования, результаты показывают: успешное прохождение итоговых тестов ещё не доказывает, что агент принимает решения, полезные для дальнейшей работы. Пока неизвестно, насколько Taste-Bench предсказывает эффективность агентов при повседневном использовании.
