I ricercatori hanno presentato BABA-Bench, un benchmark composto da 47 scenari interattivi di tutela dei pazienti, basati su casi anonimizzati esaminati da esperti del settore. Gli agenti devono raccogliere informazioni e coordinarsi con organizzazioni come assicurazioni, cliniche e farmacie. Il benchmark verifica ogni azione per accertare che siano rispettati i requisiti di consenso e di prova e i divieti.
Su 1,974 esecuzioni di 14 modelli, 254 delle 921 che hanno raggiunto tutti gli obiettivi richiesti non hanno superato almeno una verifica procedurale. Claude Opus 5 ha raggiunto tutti gli obiettivi richiesti nell’81.6% delle esecuzioni, ma ha superato tutte le verifiche solo nel 52.5% dei casi. Fornire a due modelli un percorso verificato ha aumentato notevolmente le percentuali di superamento, suggerendo che trovare un percorso valido fosse più difficile che seguirlo.
Perché conta
Per i team che sviluppano strumenti di IA per aiutare i pazienti a orientarsi nel sistema sanitario, i risultati mostrano che non basta raggiungere l’obiettivo giusto: l’agente deve anche rispettare i requisiti di consenso e le altre procedure. Non è stato accertato se questi risultati del benchmark siano indicativi delle prestazioni in contesti di cura reali.
