# BABA-Bench prüft, ob KI-Agenten Regeln einhalten

> Forschende testeten 14 KI-Modelle in Szenarien zur Patientenvertretung. Viele erzielten das richtige Ergebnis, verstießen dabei aber gegen vorgeschriebene Abläufe – etwa indem sie keine Genehmigung einholten.

Oossa · 2026-11-02 · https://oossa.com/de/baba-bench-tests-whether-care-agents-follow-the-rules

Forschende stellen BABA-Bench vor: einen Benchmark mit 47 interaktiven Szenarien zur Patientenvertretung, die auf anonymisierten und von erfahrenen Patientenvertretern geprüften Fällen basieren. Die Agenten müssen Informationen beschaffen und sich mit Organisationen wie Versicherungen, Kliniken und Apotheken abstimmen. Dabei prüft der Benchmark jede Aktion darauf, ob die nötige Genehmigung und ein ausreichender Nachweis vorliegen und ob Verbote eingehalten werden.

Bei 1,974 Durchläufen mit 14 Modellen verfehlten 254 der 921 Durchläufe, in denen alle erforderlichen Ergebnisse erzielt wurden, mindestens eine Verfahrensprüfung. Claude Opus 5 erreichte in 81.6% seiner Durchläufe alle erforderlichen Ergebnisse, bestand aber nur in 52.5% alle Prüfungen. Gab man zwei Modellen einen verifizierten Lösungsweg vor, stiegen ihre Erfolgsquoten deutlich. Das deutet darauf hin, dass es schwieriger war, einen zulässigen Weg zu finden, als ihn zu beschreiten.

## Die Fakten

- BABA-Bench umfasst 47 interaktive Welten auf Grundlage anonymisierter Fälle zur Patientenvertretung.
- 254 von 921 Durchläufen, in denen alle erforderlichen Ergebnisse erzielt wurden, scheiterten an einer Verfahrensprüfung.

## Warum es wichtig ist

Für Teams, die KI-Tools entwickeln, mit denen Patienten sich im Versorgungssystem zurechtfinden sollen, zeigen die Ergebnisse: Das richtige Ergebnis allein genügt nicht. Der Agent muss auch Genehmigungen und andere Verfahrensregeln beachten. Ob sich die Benchmark-Ergebnisse auf die tatsächliche Versorgung übertragen lassen, ist hier nicht geklärt.

## Quellen und Referenzen

1. [BABA-Bench: Evaluating Long-Horizon Patient-Advocacy Agents](https://arxiv.org/abs/2610.41076) – arXiv, 2026-11-02

Zuletzt aktualisiert: 2026-11-02