# BABA-Bench проверяет, соблюдают ли ИИ-агенты правила

> Исследователи оценили 14 моделей ИИ в ситуациях, связанных с защитой интересов пациентов. Многие добивались нужного результата, нарушая обязательные процедуры, например не получая разрешения.

Oossa · 2026-11-02 · https://oossa.com/ru/baba-bench-tests-whether-care-agents-follow-the-rules

Исследователи представили BABA-Bench — тест из 47 интерактивных сценариев по защите интересов пациентов, составленных на основе обезличенных случаев, которые изучили эксперты. Агенты должны выяснять информацию и взаимодействовать с такими организациями, как страховые компании, клиники и аптеки. При этом тест проверяет, было ли для каждого действия получено разрешение, имелись ли доказательства и не нарушались ли запреты.

В 1 974 запусках 14 моделей в 254 из 921 запусков, в которых были достигнуты все необходимые результаты, агенты не прошли как минимум одну проверку соблюдения процедур. Claude Opus 5 достигал всех необходимых результатов в 81,6% запусков, но проходил все проверки лишь в 52,5%. Предоставление двум моделям проверенного маршрута значительно повысило долю успешных запусков. Это позволяет предположить, что найти допустимый путь было сложнее, чем пройти по нему.

## Факты

- BABA-Bench включает 47 интерактивных сценариев на основе обезличенных случаев, связанных с защитой интересов пациентов.
- В 254 из 921 запусков, в которых были достигнуты все необходимые результаты, агенты не прошли проверку соблюдения процедур.

## Почему это важно

Для команд, создающих ИИ-инструменты, которые помогают пациентам ориентироваться в системе здравоохранения, результаты показывают: добиться нужного результата недостаточно — агент также должен соблюдать правила получения разрешений и другие процедурные требования. Влияют ли результаты этого теста на эффективность в реальных условиях оказания медицинской помощи, здесь не установлено.

## Источники и ссылки

1. [BABA-Bench: Evaluating Long-Horizon Patient-Advocacy Agents](https://arxiv.org/abs/2610.41076) – arXiv, 2026-11-02

Обновлено: 2026-11-02