Forschende stellen BABA-Bench vor: einen Benchmark mit 47 interaktiven Szenarien zur Patientenvertretung, die auf anonymisierten und von erfahrenen Patientenvertretern geprüften Fällen basieren. Die Agenten müssen Informationen beschaffen und sich mit Organisationen wie Versicherungen, Kliniken und Apotheken abstimmen. Dabei prüft der Benchmark jede Aktion darauf, ob die nötige Genehmigung und ein ausreichender Nachweis vorliegen und ob Verbote eingehalten werden.
Bei 1,974 Durchläufen mit 14 Modellen verfehlten 254 der 921 Durchläufe, in denen alle erforderlichen Ergebnisse erzielt wurden, mindestens eine Verfahrensprüfung. Claude Opus 5 erreichte in 81.6% seiner Durchläufe alle erforderlichen Ergebnisse, bestand aber nur in 52.5% alle Prüfungen. Gab man zwei Modellen einen verifizierten Lösungsweg vor, stiegen ihre Erfolgsquoten deutlich. Das deutet darauf hin, dass es schwieriger war, einen zulässigen Weg zu finden, als ihn zu beschreiten.
Warum es wichtig ist
Für Teams, die KI-Tools entwickeln, mit denen Patienten sich im Versorgungssystem zurechtfinden sollen, zeigen die Ergebnisse: Das richtige Ergebnis allein genügt nicht. Der Agent muss auch Genehmigungen und andere Verfahrensregeln beachten. Ob sich die Benchmark-Ergebnisse auf die tatsächliche Versorgung übertragen lassen, ist hier nicht geklärt.
