Forskare har introducerat BABA-Bench, ett test med 47 interaktiva scenarier för patientstöd, baserade på avidentifierade fall som granskats av erfarna patientföreträdare. Agenterna måste ta reda på information och samordna kontakter med organisationer som försäkringsbolag, kliniker och apotek. Testet kontrollerar varje åtgärd med avseende på tillstånd, underlag och förbud.
I 1 974 körningar av 14 modeller misslyckades 254 av de 921 körningar som nådde alla nödvändiga resultat med minst en kontroll av rutinerna. Claude Opus 5 nådde alla nödvändiga resultat i 81,6 % av körningarna, men klarade samtliga kontroller i 52,5 %. När två modeller fick en verifierad väg att följa steg andelen godkända körningar rejält, vilket tyder på att det var svårare att hitta en giltig väg än att följa den.
Varför det spelar roll
För team som utvecklar AI-verktyg som ska hjälpa patienter att navigera i vården visar resultaten att det inte räcker att nå rätt resultat: agenten måste också respektera tillstånd och andra rutiner. Här fastställs inte om resultaten från testet förutsäger hur verktygen fungerar i verkliga vårdmiljöer.
