# BABA-Bench testar om vårdagenter följer reglerna

> Forskare utvärderade 14 AI-modeller i scenarier där patienter får stöd. Många nådde rätt resultat men bröt mot obligatoriska rutiner, till exempel genom att inte be om tillstånd.

Oossa · 2026-11-02 · https://oossa.com/sv/baba-bench-tests-whether-care-agents-follow-the-rules

Forskare har introducerat BABA-Bench, ett test med 47 interaktiva scenarier för patientstöd, baserade på avidentifierade fall som granskats av erfarna patientföreträdare. Agenterna måste ta reda på information och samordna kontakter med organisationer som försäkringsbolag, kliniker och apotek. Testet kontrollerar varje åtgärd med avseende på tillstånd, underlag och förbud.

I 1 974 körningar av 14 modeller misslyckades 254 av de 921 körningar som nådde alla nödvändiga resultat med minst en kontroll av rutinerna. Claude Opus 5 nådde alla nödvändiga resultat i 81,6 % av körningarna, men klarade samtliga kontroller i 52,5 %. När två modeller fick en verifierad väg att följa steg andelen godkända körningar rejält, vilket tyder på att det var svårare att hitta en giltig väg än att följa den.

## Fakta

- BABA-Bench innehåller 47 interaktiva världar baserade på avidentifierade fall där patienter fått stöd.
- 254 av 921 körningar som nådde alla nödvändiga resultat misslyckades med en kontroll av rutinerna.

## Varför det spelar roll

För team som utvecklar AI-verktyg som ska hjälpa patienter att navigera i vården visar resultaten att det inte räcker att nå rätt resultat: agenten måste också respektera tillstånd och andra rutiner. Här fastställs inte om resultaten från testet förutsäger hur verktygen fungerar i verkliga vårdmiljöer.

## Källor och referenser

1. [BABA-Bench: Evaluating Long-Horizon Patient-Advocacy Agents](https://arxiv.org/abs/2610.41076) – arXiv, 2026-11-02

Senast uppdaterad: 2026-11-02