研究者らは、専門の患者権利擁護者が検証した匿名化事例をもとに、47の対話型シナリオを収録したベンチマーク「BABA-Bench」を公開した。エージェントは情報を集め、保険会社、診療所、薬局などと連携する必要があり、各行動が許可や根拠を満たしているか、禁止事項に触れていないかが評価される。
14モデルを計1,974回実行したところ、必須の結果をすべて達成した921回のうち254回で、少なくとも1つの手順チェックに不合格となった。Claude Opus 5は実行の81.6%で必須の結果をすべて達成したが、すべてのチェックに合格したのは52.5%だった。2つのモデルに検証済みの手順を与えると合格率が大幅に上昇し、有効な手順を見つけることは、それを実行することより難しいと示唆された。
なぜ重要か
患者の医療受診を支援するAIツールを開発するチームにとって、正しい結果にたどり着くだけでは不十分で、エージェントは許可などの手順上のルールも守らなければならないことを示す。ただし、今回のベンチマーク結果が実際の医療現場での性能を予測できるかどうかは、ここでは明らかになっていない。
