Onderzoekers introduceerden BABA-Bench, een benchmark met 47 interactieve scenario’s rond patiëntenbelangenbehartiging, gebaseerd op geanonimiseerde casussen die door belangenbehartigers met expertise zijn beoordeeld. Agents moeten informatie achterhalen en samenwerken met organisaties zoals verzekeraars, klinieken en apotheken. De benchmark controleert bij elke handeling of er toestemming en bewijs is en of verboden handelingen achterwege blijven.
In 1.974 testruns met 14 modellen bereikten 921 runs alle vereiste resultaten. Daarvan voldeden er 254 niet aan minstens één procedurele controle. Claude Opus 5 bereikte in 81,6% van zijn runs alle vereiste resultaten, maar slaagde in slechts 52,5% voor alle controles. Toen twee modellen een geverifieerde route kregen, stegen hun slagingspercentages aanzienlijk. Dat wijst erop dat een geldige route vinden moeilijker was dan die volgen.
Waarom het ertoe doet
Voor teams die AI-hulpmiddelen ontwikkelen om patiënten wegwijs te maken in de zorg, laten de resultaten zien dat het juiste resultaat bereiken niet genoeg is: de agent moet ook toestemming en andere procedurele regels respecteren. Het is hier niet vastgesteld of deze benchmarkresultaten voorspellen hoe zulke systemen in de praktijk presteren.
