# BABA-Bench、医療支援AIが手順を守るか検証

> 研究者らは、患者の権利擁護を想定したシナリオで14のAIモデルを評価した。多くのモデルは正しい結果にたどり着いた一方、許可を得るといった必須の手順に違反した。

Oossa · 2026-11-02 · https://oossa.com/ja/baba-bench-tests-whether-care-agents-follow-the-rules

研究者らは、専門の患者権利擁護者が検証した匿名化事例をもとに、47の対話型シナリオを収録したベンチマーク「BABA-Bench」を公開した。エージェントは情報を集め、保険会社、診療所、薬局などと連携する必要があり、各行動が許可や根拠を満たしているか、禁止事項に触れていないかが評価される。

14モデルを計1,974回実行したところ、必須の結果をすべて達成した921回のうち254回で、少なくとも1つの手順チェックに不合格となった。Claude Opus 5は実行の81.6%で必須の結果をすべて達成したが、すべてのチェックに合格したのは52.5%だった。2つのモデルに検証済みの手順を与えると合格率が大幅に上昇し、有効な手順を見つけることは、それを実行することより難しいと示唆された。

## 事実

- BABA-Benchには、匿名化された患者権利擁護の事例をもとにした47の対話型シナリオが含まれる。
- 必須の結果をすべて達成した921回の実行のうち、254回が手順チェックに不合格となった。

## なぜ重要か

患者の医療受診を支援するAIツールを開発するチームにとって、正しい結果にたどり着くだけでは不十分で、エージェントは許可などの手順上のルールも守らなければならないことを示す。ただし、今回のベンチマーク結果が実際の医療現場での性能を予測できるかどうかは、ここでは明らかになっていない。

## 出典と参考資料

1. [BABA-Bench: Evaluating Long-Horizon Patient-Advocacy Agents](https://arxiv.org/abs/2610.41076) – arXiv, 2026-11-02

最終更新: 2026-11-02