Исследователи представили BABA-Bench — тест из 47 интерактивных сценариев по защите интересов пациентов, составленных на основе обезличенных случаев, которые изучили эксперты. Агенты должны выяснять информацию и взаимодействовать с такими организациями, как страховые компании, клиники и аптеки. При этом тест проверяет, было ли для каждого действия получено разрешение, имелись ли доказательства и не нарушались ли запреты.
В 1 974 запусках 14 моделей в 254 из 921 запусков, в которых были достигнуты все необходимые результаты, агенты не прошли как минимум одну проверку соблюдения процедур. Claude Opus 5 достигал всех необходимых результатов в 81,6% запусков, но проходил все проверки лишь в 52,5%. Предоставление двум моделям проверенного маршрута значительно повысило долю успешных запусков. Это позволяет предположить, что найти допустимый путь было сложнее, чем пройти по нему.
Почему это важно
Для команд, создающих ИИ-инструменты, которые помогают пациентам ориентироваться в системе здравоохранения, результаты показывают: добиться нужного результата недостаточно — агент также должен соблюдать правила получения разрешений и другие процедурные требования. Влияют ли результаты этого теста на эффективность в реальных условиях оказания медицинской помощи, здесь не установлено.
